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内 容 简介 


本 书 系统 、 全 面 地 介绍 了 软件 测试 的 基础 知识 和 测试 技术 的 应 用 ,是 一 本 非常 实用 的 软件 测试 教材 。 
全 书 大 致 分 为 两 部 分 , 共 9 个 章节 。 第 一 部 分 包括 前 5 章 , 主 要 讲述 软件 测试 的 概念 .原理 、 方 法 等 基础 理 
论 。 其 中 ,第 1 章 是 引入 章节 ,主要 介绍 软件 测试 的 基础 知识 ; 第 2 章 介绍 了 测试 用 例 的 设计 方法 和 经 典 
案例 ,也 就 是 黑 盒 测试 和 白 盒 测 试 方法 ; 第 3 章 介 绍 了 软件 测试 流程 ; 第 4 章 介 绍 了 面向 对 象 软件 测试 的 
原理 和 方法 ; 第 5 章 介 绍 了 自动 化 测试 的 基础 知识 。 第 二 部 分 包括 后 4 章 , 主 要 讲述 测试 工具 在 实际 测试 
环境 中 的 应 用 。 其 中 ,第 6 章 介绍 了 测试 管理 的 基础 知识 和 TestDirector 管理 测试 过 程 的 方法 .案例 ; 第 7 
章 介绍 了 单元 测试 的 实施 方案 ,重点 讲解 了 一 些 单元 测试 工具 的 使 用 方法 ; 第 8 章 介绍 了 功能 测试 的 实施 
方案 ,讲解 了 怎样 使 用 WinRunner 进行 功能 测试 ; 第 9 章 介 绍 了 性 能 测试 实施 方案 ,讲解 了 使 用 
LoadRunner 实施 性 能 测试 的 过 程 。 

本 书 适用 于 高 等 院 校 高 职高 专 院 校 \ 示 范 性 软件 学 院 的 软件 技术 、 软 件 测试 专业 及 计算 机 相关 专业 ,可 
作为 软件 测试 课程 的 教材 或 参考 书 使 用 ,也 可 供 从 事 软 件 开 发 和 软件 测试 的 专业 技术 和 管理 人 员 参 考 使 用 。 


本 书 封面 贴 有 清华 大 学 出 版 社 防伪 标签 ,无 标签 者 不 得 销售 。 
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随 着 我 国 改革 开放 的 进一步 深化 ,高 等 教育 也 得 到 了 快速 发 展 , 各 地 高 校 紧密 结合 地 方 
经 济 建设 发 展 需要 ,科学 运用 市 场 调节 机 制 ,加 大 了 使 用 信息 科学 等 现代 科学 技术 提升 、 改 
造 传统 学 科 专 业 的 投入 力度 ,通过 教育 改革 合理 调整 和 配置 了 教育 资源 ,优化 了 传统 学 科 专 
业 , 积 极为 地 方 经 济 建设 输送 人 才 , 为 我 国 经 济 社会 的 快速 ,健康 和 可 持续 发 展 以 及 高 等 教 
育 自身 的 改革 发 展 做 出 了 巨大 贡献 。 但 是 ,高 等 教育 质量 还 需要 进一步 提高 以 适应 经 济 社 
会 发 展 的 需要 ,不 少 高 校 的 专业 设置 和 结构 不 尽 合理 ,教师 队伍 整体 素质 吸 待 提高 ,人 才 培 
养 模式 教学 内 容 和 方法 需要 进一步 转变 ,学 生 的 实践 能 力 和 创新 精神 蝇 待 加 强 。 

教育 部 一 直 十 分 重视 高 等 教育 质量 工作 。2007 年 1 月 ,教育 部 下 发 了 《关于 实施 高 等 
学 校本 科教 学 质量 与 教学 改革 工程 的 意见 ), 计 划 实 施 “ 高 等 学 校本 科教 学 质量 与 教学 改革 
工程 "(简称 “质量 工程 ”) ,通过 专业 结构 调整 .课程 教材 建设 、 实 践 教学 改革 、 教 学 团队 建设 
等 多 项 内 容 ,进一步 深化 高 等 学 校 教学 改革 ,提高 人 才 培 养 的 能 力 和 水 平 ,更 好 地 满足 经 济 
社会 发 展 对 高 素质 人 才 的 需要 。 在 贯彻 和 落实 教育 部 “质量 工程 * 的 过 程 中 ,各 地 高 校 发 挥 
师资 力量 强 、 办 学 经 验 丰 富 、 教 学 资源 充裕 等 优势 ,对 其 特色 专业 及 特色 课程 ( 群 ) 加 以 规划 、 
整理 和 总 结 ,更 新 教学 内 容 、 改 革 课 程 体系 ,建设 了 一 大 批 内 容 新 、 体 系 新 、 方 法 新 、 手 段 新 的 
特色 课程 。 在 此 基础 上 ,经 教育 部 相关 教学 指导 委员 会 专家 的 指导 和 建议 ,清华 大 学 出 版 社 
在 多 个 领域 精 选 各 高 校 的 特色 课程 ,分 别 规划 出 版 系列 教材 ,以 配合 “质量 工程 "的 实施 , 满 
足 各 高 校 教学 质量 和 教学 改革 的 需要 。 

为 了 深入 贯彻 落实 教育 部 (关于 加 强 高 等 学 校本 科教 学 工作 ,提高 教学 质量 的 若干 意 
见 ) 精 神 , 紧 密 配合 教育 部 已 经 启动 的 “高 等 学 校 教 学 质量 与 教学 改革 工程 精品 课程 建设 工 
作 ”, 在 有 关 专 家 、 教 授 的 倡议 和 有 关 部 门 的 大 力 支持 下 ,我们 组 织 并 成 立 了 “清华 大 学 出 版 
社 教材 编审 委员 会 "(以 下 简称 “ 编 委 会 ”) , 旨 在 配合 教育 部 制定 精品 课程 教材 的 出 版 规划 ， 
讨论 并 实施 精品 课程 教材 的 编写 与 出 版 工作 .“ 编 委 会 "成 员 皆 来 自 全 国 各 类 高 等 学 校 教学 
与 科研 第 一 线 的 骨干 教师 ,其 中 许多 教师 为 各 校 相 关 院 、 系 主管 教学 的 院 长 或 系 主任 。 

按照 教育 部 的 要 求 ,“ 编 委 会 ”一致 认为 ,精品 课程 的 建设 工作 从 开始 就 要 坚持 高 标准 、 
严 要 求 , 处 于 一 个 比较 高 的 起 点 上 。 精 品 课程 教材 应 该 能 够 反映 各 高 校 教学 改革 与 课程 建 
设 的 需要 ,要 有 特色 风格 .有 创新 性 (新 体系 、 新 内 容 、 新 手段 .新 思路 ,教材 的 内 容 体系 有 和 较 
高 的 科学 创新 .技术 创新 和 理念 创新 的 含量 ) .先进 性 (对 原 有 的 学 科 体 系 有 实质 性 的 改革 和 
发 展 , 顺 应 并 符合 21 世纪 教学 发 展 的 规律 ,代表 并 引领 课程 发 展 的 趋势 和 方向 ) ,示范 性 ( 教 
材 所 体现 的 课程 体系 具有 较 广 泛 的 辐射 性 和 示范 性 ) 和 一 定 的 前 脆性。 教材 由 个 人 申报 或 
各 校 推荐 (通过 所 在 高 校 的 “ 编 委 会 成 员 推荐 ) ,经 “ 编 委 会 ”认真 评审 ,最 后 由 清华 大 学 出 版 
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社 审 定 出 版 。 


目前 ,针对 计算 机 类 和 电子 信息 类 相关 专业 成 立 了 两 个 “ 编 委 会 ”, 即 “清华 大 学 出 版 社 
计算 机 教材 编审 委员 会 > 和 ”清华 大 学 出 版 社 电子 信息 教材 编审 委员 会 ”>。 推 出 的 特色 精品 


教材 包括 : 
(1) 21 世纪 高 等 学 校规 划 教材 。 
专业 的 计算 机 应 用 类 教材 。 


(2) 21 世纪 高 等 学 校规 划 教材 。 


教材 。 
(3) 21 世纪 高 等 学 校规 划 教材 。 
(4) 21 世纪 高 等 学 校规 划 教材 。 


(5) 21 世纪 高 等 学 校规 划 教材 。 
(6) 21 世纪 高 等 学 校规 划 教材 。 
(7) 21 世纪 高 等 学 校规 划 教材 。 
(8) 21 世纪 高 等 学 校规 划 教材 


计算 机 应 用 一 一 高 等 学 校 各 类 专业 ,特别 是 非 计算 机 


计算 机 科学 与 技术 一 一 高 等 学 校 计 算 机 相关 专业 的 


电子 信息 一 一 高 等 学 校 电子 信息 相关 专业 的 教材 。 
软件 工程 一 一 高 等 学 校 软件 工程 相关 专业 的 教材 。 
信息 管理 与 信息 系统 。 

财经 管理 与 应 用 。 

电子 商务 。 

物 联网 。 


清华 大 学 出 版 社 经 过 三 十 多 年 的 努力 ,在 教材 尤其 是 计算 机 和 电子 信息 类 专业 教材 出 
版 方面 树立 了 权威 品牌 ,为 我 国 的 高 等 教育 事业 做 出 了 重要 贡献 。 清 华 版 教材 形成 了 技术 
准确 、 内 容 严 并 的 独特 风格 ,这 种 风格 将 延续 并 反映 在 特色 精品 教材 的 建设 中 。 


清华 大 学 出 版 社 教材 编审 委员 会 
KRA: 魏 江 江 


E-mail: weijj@ tup. tsinghua. edu. cn 


随 着 信息 技术 的 飞速 发 展 , 互 联网 技术 行业 的 崛起 ,只 要 有 软件 存在 的 地 方 ,就 需要 有 
软件 测试 的 存在 ,软件 测试 的 重要 作用 日 益 突 出 。 

目前 ,各 类 院 校 的 计算 机 专业 大 多 开设 了 软件 测试 相关 课程 ,种 类 繁多 的 教程 .资料 大 量 
涌现 。 笔 者 分 析 发 现 ,体现 “工学 结合 ”, 突 出 测试 实 训 练习 ,适合 高 职高 专 院 校 使 用 的 软件 测 
试 教 程 并 不 多 。 基 于 这 种 情况 ,我们 决定 编写 一 本 高 职高 专 学 生 适 用 的 软件 测试 教程 ,同时 兼 
顾 本 科 院 校 的 学 生 。 本 书 内 容 包含 软件 测试 的 基本 理论 ,同时 重点 介绍 主流 测试 工具 的 使 用 
方法 ,使 学 生 能 快速 掌握 测试 工作 方法 和 技巧 ,实现 学 生 实际 能 力 与 职业 岗位 要 求 的 接轨 。 

本 书 结合 高 校 的 教学 特点 ,系统 地 介绍 了 软件 测试 理论 知识 和 测试 技术 ,并 从 项 目 工程 
的 角度 阐述 了 软件 测试 技术 和 应 用 策略 。 通 过 本 书 内 容 的 学 习 , 读 者 能 较 快 地 学 习 到 软件 
测试 方面 的 理论 知识 ,并 掌握 实际 的 软件 测试 技术 方法 。 我 们 为 相应 章节 设计 了 大 量 实例 
和 步骤 讲解 ,本 书 将 结合 具体 实例 详细 介绍 测试 理论 和 主流 测试 工具 的 使 用 方法 ; 另外 ,每 
一 章节 最 后 都 有 总 结 和 习题 ,力求 给 读者 更 多 的 学 习 实践 机 会 。 

本 书 大 致 分 两 部 分 , 共 9 个 章节 。 第 一 部 分 包括 前 5 章 , 主 要 讲述 软件 测试 的 概念 、 原 
理 方法 等 基础 理论 。 其 中 ,第 1 章 是 引入 章节 ,主要 介绍 软件 测试 的 定义 ,测试 模型 ,测试 
驱动 开发 软件 质量 保证 及 测试 职业 规划 。 第 2 章 全 面 介绍 了 测试 用 例 的 经 典 设计 方法 和 
实际 案例 ,如 黑 盒 测试 方法 中 的 等 价 类 划分 法 .边界 值 法 、 错 误 推 测 法 .因果 图 法 ,决策 表 法 、 
正 交 试验 法 等 , 白 盒 测试 方法 中 的 逻辑 覆盖 测试 .基本 路 径 测试 . 程 序 插 桩 测试 等 。 第 3 章 
介绍 了 软件 测试 的 基本 流程 ,对 单元 测试 .集成 测试 .确认 测试 .系统 测试 .验收 测试 等 阶段 
进行 了 详细 描述 。 第 4 章 介绍 了 面向 对 象 软件 测试 的 原理 和 方法 。 第 5 章 介绍 了 自动 化 测 
试 的 必要 性 .引入 原则 、 优 缺点 、 实 施 过 程 中 的 问题 等 基础 知识 ,另外 还 对 当前 流行 的 测试 工 
具 做 了 分 类 介绍 。 第 二 部 分 包括 后 4 章 , 主 要 讲述 测试 工具 在 实际 测试 环境 中 的 应 用 。 其 
中 ,第 6 章 介 绍 了 测试 管理 中 的 计划 管理 ,缺陷 管理 ,文档 管理 ,过 程 管理 组织 管理 和 配置 
管理 等 内 容 , 最 后 介绍 了 著名 测试 管理 工具 TestDirector 管理 测试 过 程 的 方法 、 案 例 ; 第 7 
章 介 绍 了 单元 测试 的 实施 方案 ,重点 讲解 了 静态 分 析 工 具 PC-Lint、 动 态 单元 测试 工具 JUnit, 
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软件 测试 概述 | 


本 章 内 容 为 软件 测试 概要 性 论述 ,主要 介绍 软件 测试 的 基本 问题 和 涵盖 内 容 , 主 要 包括 
软件 缺陷 、 软 件 测试 的 定义 和 类 别 、 软 件 测试 模型 测试 驱动 开发 .软件 质量 保证 等 内 容 。 通 
过 本 章 的 学 习 , 读 者 能 够 正确 理解 软件 测试 的 概念 、 背 景 及 重要 性 ,理解 软件 缺陷 .软件 测试 
模型 测试 驱动 开发 ,软件 质量 保证 等 众多 基本 概念 ,了 解 软件 测试 的 基本 思想 ,软件 测试 与 
开发 的 关系 及 测试 驱动 开发 的 内 容 , 充 分 认识 到 软件 质量 在 整个 软件 开发 体系 中 的 重要 性 。 

本 章 要 点 : 

。 软件 缺陷 及 其 产生 的 原因 。 

。 软件 测试 的 定义 和 类 别 。 

。 软件 测试 模型 。 

。 测试 驱动 开发 的 思想 。 

。 软件 质量 保证 的 手段 。 


B 软件 缺陷 


软件 缺陷 是 指 程序 中 存在 的 错误 ,软件 在 其 生命 周期 各 个 阶段 都 有 可 能 发 生 问 题 ,发 生 
问题 的 情况 和 形式 各 不 相同 ,这 就 是 缺陷 ,业内 常用 *Bug” 来 描述 它 。 在 软件 工程 中 统一 对 
软件 缺陷 的 认识 是 测试 项 目 最 终 能 够 成 功 的 基础 。IEEE Standard 729 中 对 软件 缺陷 的 定 
义 是 :“ 从 产品 的 内 部 看 ,软件 缺陷 是 软件 产品 开发 或 者 维护 过 程 中 所 存在 的 错误 .毛病 等 
各 种 问题 ; 从 外 部 看 ,软件 缺陷 是 系统 所 需要 实现 的 某 种 功能 的 失效 或 违背 。” 


1.1.1 软件 缺陷 案例 


信息 技术 的 飞速 发 展 ,使 软件 产品 应 用 到 社会 的 各 个 领域 ,软件 产品 的 质量 自然 成 为 人 
们 共同 关注 的 焦点 。 不 论 是 软件 的 生产 者 还 是 软件 的 使 用 者 ,都 生存 在 竞争 的 环境 中 。 软 
件 开发 商 为 了 占有 市 场 ,必须 把 产品 质量 作为 企业 的 重要 目标 之 一 ,以 免 在 激烈 的 竞争 中 被 
淘汰 出 局 。 用 户 为 了 保证 自己 业务 的 顺利 完成 ,当然 希望 选用 优质 的 软件 。 具 有 质量 缺陷 
的 软件 产品 不 仅 会 使 开发 商 的 维护 费用 和 用 户 的 使 用 成 本 大 幅 增加 ,还 可 能 产生 其 他 的 责 
任 风险 ,造成 公司 信誉 下 降 ,继而 冲击 股票 市 场 。 在 一 些 关键 应 用 (如 民航 订 票 系统 .银行 结 
算 系 统 、 证 券 交 易 系 统 、 自 动 飞行 控制 软件 .军事 防御 和 核电 站 安全 控制 系统 等 ) 中 使 用 质量 
有 问题 的 软件 ,还 可 能 造成 灾难 性 的 后 果 。 
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。“ 冲 击 波 ” 计 算 机 病毒 

2003 年 8 月 ,“ 冲 击 波 ” 计 算 机 病毒 首先 在 美国 改作, 导致 美国 政府 机 关 , 企 业 和 个 人 的 
成 千 上 万 台 计算 机 受到 攻击 。 随 后 ,“ 冲 击 波 ”蠕虫 病毒 很 快 在 因特网 上 广泛 传播 ,中 国 、 日 
本 、 欧 洲 等 地 的 用 户 也 受到 了 攻击 ,结果 是 大 量 的 邮件 服务 器 瘫痪 ,给 整个 世界 范围 内 的 网 
络 通信 带 来 了 惨重 的 损失 。 

制造 “冲击 波 ” 病 毒 的 黑客 只 用 了 3 周 时 间 就 完成 了 该 病毒 程序 。 该 病毒 仅仅 利用 微软 
公司 Messenger Service 中 的 一 个 缺陷 ,就 攻破 了 计算 机 安全 屏障 ,使 所 有 基于 Windows 操 
作 系 统 的 计算 机 崩溃 。 更 令 计算 机 安全 专家 担忧 的 是 ,如 不 立即 采用 有 效 的 防御 措施 ,黑客 
将 很 快 找到 利用 该 缺陷 控制 大 部 分 计算 机 的 方法 。 

随后 ,微软 公司 紧急 发 布 了 升级 补丁 ,以 修复 操作 系统 中 存在 的 缺陷 ,抵御 该 病毒 的 
攻击 。 

。“ 辽 宁 福 彩 ” 事 件 

2005 年 一 次 普通 的 机 器 死机 故障 ,让 急于 在 开奖 前 敲 进 3D 福彩 号 码 的 赵 立 群发 现 了 
一 个 惊人 的 秘密 一 一 他 的 另外 一 台 福 彩 机 器 ,竟然 可 以 在 福彩 中 奖 号 码 公 布 后 的 5 分 钟 内 ， 
硕 进 去 几 组 有 效 的 、 并 被 福彩 中 心 确认 的 投注 号 码 。 这 个 发 现 让 赵 立 群 兴奋 不 已 ,也 让 他 产 
生 了 一 个 大 胆 的 计划 : 利用 辽宁 福彩 的 这 一 系统 漏洞 ,通过 输入 满 天 星 彩票 站 已 经 中 奖 的 
彩票 号 码 , 重 复 兑奖 。 

赵 立 群 案 发 后 ,辽宁 省 福彩 系统 设备 供应 商 深 圳 思 乐 升级 了 辽宁 省 福彩 彩票 销售 管理 
系统 ,并 对 因 系 统 缺陷 给 辽宁 福彩 中 心 造成 的 近 三 千 万 元 的 损失 进行 了 赔偿 。 

案情 虽然 公布 ,但 以 下 两 点 值得 我 们 深思 。 

(1) 辽宁 福彩 3D 从 2005 年 初 开始 上 市 ,到 2006 年 底 辽 宁 福 彩 向 警方 报案 的 两 年 时 间 
内 ,供应 商 始 终 示 发现 该 系统 漏洞 ,对 一 个 成 熟 而 且 具 备 很 强 实力 的 公司 而 言 有 些 不 可 
思议 。 

(2) 赵 立 群 从 市 福彩 中 心 兑 出 的 600 多 万 元 是 合法 所 得 ,还 是 非法 所 得 ? 若 为 非法 所 
得 ,那么 能 采用 什么 方法 ,在 明明 没有 中 奖 的 情况 下 又 去 兑奖 呢 ? 这 是 否 意味 着 还 存在 其 他 
的 技术 漏洞 呢 ? 

* 索尼 电视 软件 缺陷 

2006 年 2 月 ,索尼 (中 国 ) 公 司 称 ,2005 年 下 半年 在 中 国内 地 推出 的 5 款 电视 ,包括 液晶 
电视 和 液晶 背 投 电视 ,由 于 在 软件 方面 出 现 了 设计 缺陷 ,导致 不 能 正常 开关 机 。 

索尼 公司 的 专业 人 员 研 究 后 发 现 ,特定 范围 内 的 液晶 背 投 电视 和 液晶 电视 的 软件 中 存 
在 一 个 计时 错误 ,该 错误 会 导致 相关 型 号 电视 在 待机 及 累计 工作 约 1200 小 时 后 ,出 现在 使 
用 中 不 能 正常 关机 或 在 待机 状态 下 不 能 开机 的 现象 。 而 液晶 电视 的 正常 工作 时 间 为 5 万 小 
时 。 随 后 索尼 (中 国 ) 有 限 公司 对 存在 问题 的 5 款 电视 进行 了 免费 软件 升级 。 

。“F-16? 战 机 软件 缺陷 

2007 年 美国 12 架 F-16 战斗 机 在 执行 从 夏威夷 飞 往日 本 的 任务 中 , 因 电脑 系统 编码 中 
犯 了 一 个 小 错误 ,导致 飞机 上 的 全 球 定位 系统 纷纷 失灵 ,有 一 架 战机 折 戟 沉 沙 。 

软件 缺陷 是 软件 界 甚至 整个 计算 机 界 最 热门 的 话题 。 为 了 解决 这 个 问题 ,软件 从 业 人 
员 专家 和 学 者 做 出 了 大 量 的 努力 。 现 在 人 们 已 经 逐步 认识 到 所 谓 的 软件 缺陷 实际 上 仅 是 
一 种 状况 , 那 就 是 软件 中 有 错误 , 正 是 这 些 错误 导致 了 软件 开发 在 成 本 .进度 和 质量 上 的 失 
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控 。 有 错误 是 软件 的 属性 ,而 且 是 无 法 改变 的 ,因为 软件 是 由 人 来 完成 的 ,所 有 由 人 做 的 工 

作 都 不 会 是 完美 无 缺 的 ,问题 在 于 我 们 如 何 去 避 免 错误 的 产生 和 消除 已 经 产生 的 错误 ,使 程 

序 中 的 错误 密度 达到 尽 可 能 低 的 程度 。 


1.1.2 软件 缺陷 产生 的 原因 


在 软件 开发 的 过 程 中 ,软件 缺陷 的 产生 是 不 可 避免 的 。 那么 造成 软件 缺陷 的 主要 原因 有 
哪些 ? 从 软件 本 身 、 团 队 工 作 和 技术 问题 等 角度 分 析 , 就 可 以 了 解 造成 软件 缺陷 的 主要 因素 。 


1. 软件 本 身 


CD 文档 错误 .内 容 不 正确 或 拼写 错误 。 

(2) 没有 考虑 大 量 数据 使 用 场合 ,从 而 可 能 会 引起 强度 或 负载 问题 。 

(3) 对 程序 逻辑 路 径 或 数据 范围 的 边界 考虑 不 够 周全 , 漏 掉 某 些 边 界 条 件 ,造成 容量 或 
边界 错误 。 

OD 对 一 些 实时 应 用 ,要 进行 精心 设计 和 技术 处 理 , 保 证 精确 的 时 间 同 步 ,否则 容易 引 
起 时 间 上 不 协调 ,不 一 致 的 问题 。 

C) 没有 考虑 系统 崩溃 后 的 自我 恢复 或 数据 的 异地 备份 .灾难 性 恢复 等 问题 ,从 而 存在 
系统 安全 性 ,可 靠 性 的 隐患 。 

(6) 硬件 或 系统 软件 上 存在 的 错误 。 

(7) 软件 开发 标准 或 过 程 上 的 错误 。 


2. 团队 工作 


(1) 分 析 系 统 需求 时 对 客户 的 需求 理解 不 清楚 ,或 者 和 用 户 的 沟通 存在 一 些 困难 。 

(2) 不 同 阶段 的 开发 人 员 相互 理解 不 一 致 。 例 如 ,软件 设计 人 员 对 需求 分 析 的 理解 有 
偏差 ,编程 人 员 对 系统 设计 规格 说 明 书 中 某 些 内 容重 视 不 够 ,或 存在 误解 。 

(3) 对 于 设计 或 编程 上 的 一 些 假定 或 依赖 性 ,相关 人 员 没 有 充分 沟通 。 


3. 技术 问题 


(1) 算法 错误 : 在 给 定 条 件 下 没 能 给 出 正确 或 准确 的 结果 。 

(2) 语法 错误 : 对 于 编译 性 语言 程序 ,编译 器 可 以 发 现 这 类 问题 ; 但 对 于 解释 性 语言 程 
序 ,只 能 在 测试 运行 时 发 现 。 

(3) 计算 和 精度 问题 : 计算 的 结果 没有 满足 所 需要 的 精度 。 

(4) 系统 结构 不 合理 、 算 法 选择 不 科学 ,造成 系统 性 能 低下 。 

(5) 接口 参数 传递 不 匹配 ,导致 模块 集成 出 现 问题 。 


(.2 软件 测试 概述 


计算 机 和 程序 是 一 对 挛 生 兄弟 ,自从 计算 机 诞生 之 日 起 就 必须 要 有 程序 在 其 上 运行 。 
为 了 使 所 编制 的 程序 能 在 计算 机 上 运行 ,从 而 得 到 问题 的 正确 解 , 必 须 对 程序 的 功能 进行 测 
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试 。 所 以 软件 测试 工作 在 软件 工程 诞生 之 前 就 客观 存在 了 ,一 直 延 用 至 今 , 且 其 测试 的 内 容 
和 技术 也 有 了 较 大 的 发 展 。 

无 论 是 ISO 9000 的 质量 体系 认证 ,还 是 CMU/SEI 的 CMM 认证 ,其 中 均 涉 及 测试 ,如 
ISO 9000 中 共有 19 个 要 素 ,其 中 一 个 要 素 就 是 “检验 和 试验 ”, 对 于 软件 来 说 就 是 测试 。 再 
如 CMU/SEI 的 CMM 中 共有 18 个 过 程 关 键 域 ,其 中 有 一 个 质量 保证 过 程 关键 域 ,就 是 对 
过 程 的 监视 和 测量 。 

因此 ,无 论 从 何 种 角度 讲 , 软 件 测 试 是 必 不 可 少 的 活动 ,是 对 软件 需求 分 析 、 设 计 规 约 和 
编码 的 最 终 复审 ; 是 保证 软件 质量 的 关键 步骤 。 软 件 测试 是 根据 软件 开发 各 阶段 的 规约 和 
软件 的 内 部 结构 ,精心 设计 一 批 测试 用 例 (包括 输入 数据 及 其 预期 的 输出 结果 ) ,并 利用 这 些 
测试 用 例 去 运行 程序 ,以 发 现 软件 中 不 符合 质量 特性 要 求 ( 即 缺陷 或 错误 ) 的 过 程 。 目 前 , 许 
多 软件 开发 机 构 将 研发 力量 的 40% 以 上 投入 到 软件 测试 之 中 ,充分 体现 了 对 软件 质量 的 重 
视 。 众 所 周知 ,软件 中 存在 的 缺陷 甚至 错误 ,如 果 遗 留 到 软件 交付 投入 运行 之 时 , 终 将 会 暴 
露出 来 。 到 那 时 ,不 仅 改正 这 些 缺 陷 所 花 的 代价 更 高 ,而 且 往往 造成 恶劣 的 后 果 。 由 此 可 知 
软件 测试 的 重要 性 。 

在 进行 软件 产品 或 软件 系统 开发 时 ,主要 有 3 类 人 员 必 须 参 与 ,他 们 分 别 是 项 目 经 理 、 
开发 人 员 和 测试 人 员 。 一 般 来 说 ,大 家 都 会 十 分 重视 开发 工作 ,因此 在 一 个 项 目 组 中 ,会 有 
很 多 的 开发 人 员 ,而 测试 人 员 都 比较 少 。 经 过 多 次 实践 后 , 才 会 增加 测试 人 员 ,如 微软 公司 
就 是 这 种 情况 ,目前 软件 测试 人 员 就 比较 多 了 ,如 Exchange 2000, 项 目 经 理 23 人 ,开发 人 
员 140 人 ,测试 人 员 350 A; 再 如 Windows 2000, 项 目 经 理 250 人 ,开发 人 员 1700 人 ,测试 
人 员 3200 人 ,可 以 看 出 开发 人 员 和 测试 人 员 之 比 , 竞 达 3 : 5。 对 于 当前 我 国 的 软件 企业 来 
说 ,软件 测试 的 力度 远 远 不 够 , 随 着 市 场 的 成 熟 和 企业 的 发 展 , 必 将 会 极 大 地 投入 到 测试 工 
作 中 去 ,届时 测试 人 员 将 会 十 分 走俏 。 


1.2.1 软件 测试 定义 


什么 是 软件 测试 ?G. Myers 给 出 了 关于 测试 的 一 些 规则 ,这 些 规则 也 可 以 看 作 是 测试 
的 定义 。 

t 测试 是 为 了 发 现 程序 中 的 错误 而 执行 程序 的 过 程 。 

* 好 的 测试 方案 是 极 有 可 能 发 现 迄 今 为 止 尚未 发 现 的 错误 的 测试 方案 。 

* 成 功 的 测试 是 发 现 了 至 今 为 止 尚未 发 现 的 错误 的 测试 。 

从 上 述 规则 可 以 看 出 ,软件 测试 的 正确 定义 就 是 利用 测试 工具 按照 测试 方案 和 流程 对 
产品 进行 功能 和 性 能 测试 ,甚至 根据 需要 编写 不 同 的 测试 工具 ,设计 和 维护 测试 系统 ,对 测 
试 方案 可 能 出 现 的 问题 进行 分 析 和 评估 。 执 行 测试 用 例 后 ,需要 跟踪 故障 ,以 确保 开发 的 产 
品 适合 需求 。 

软件 测试 是 “为 了 发 现 程序 中 的 错误 而 执行 程序 的 过 程 ”, 这 和 某 些 人 通常 想象 的 “测试 
是 为 了 表明 程序 是 正确 的 ”,“ 成 功 的 测试 是 没有 发 现 错误 的 测试 ”等 是 恰恰 相反 的 。 

由 于 测试 的 目标 是 暴露 程序 中 的 错误 ,从 心理 学 角度 看 ,由 程序 的 编写 者 自己 进行 测试 
是 不 恰当 的 。 因 此 ,在 综合 测试 阶段 通常 由 其 他 人 员 组 成 测试 小 组 来 完成 测试 工作 。 
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1.2.2 软件 测试 贯穿 于 软件 生命 周期 


不 论 采用 什么 技术 和 方法 ,软件 中 仍然 会 有 错 。 采 用 新 的 语言 .先进 的 开发 方式 .完善 
的 开发 过 程 ,可 以 减少 错误 的 引入 ,但 是 不 可 能 完全 杜绝 软件 中 的 错误 ,这 些 引 入 的 错误 需 
要 通过 测试 来 找 出 ,软件 中 的 错误 密度 也 需要 通过 测试 来 进行 估计 。 测 试 是 所 有 工程 学 科 
的 基本 组 成 单元 ,是 软件 开发 的 重要 部 分 。 统 计 表 明 ,在 典型 的 软件 开发 项 目 中 ,软件 测试 
工作 量 往往 占 软件 开发 总 工作 量 的 40% 以 上 。 而 在 软件 开发 的 总 成 本 中 ,用 在 测试 上 的 开 
销 要 占 到 30% 一 50% 。 如 果 把 维护 阶段 也 考虑 在 内 ,讨论 整个 软件 生存 期 时 ,测试 的 成 本 
比例 也 许 会 有 所 降低 ,但 实际 上 维护 工作 相当 于 二 次 开发 ,乃至 多 次 开发 ,其 中 必定 还 包含 
有 许多 测试 工作 。 因 此 ,测试 对 于 软件 生产 来 说 是 必需 的 ,我 们 应 该 思考 的 是 “采用 什么 方 
法 、 如 何 安 排 测试 ”。 

20 世纪 70 年 代 中 期 ,形成 了 软件 开发 生命 周期 的 概念 。 这 对 于 软件 产品 的 质量 保障 
以 及 组 织 好 软件 开发 工具 有 着 重要 的 意义 。 首 先 ,由 于 能 够 把 整个 开发 工作 明确 地 划分 成 
若干 个 开发 步骤 ,复杂 的 问题 就 能 按 阶 段 分 别 加 以 解决 。 这 就 使 得 对 于 问题 的 认识 与 分 析 、 
解决 的 方案 与 方法 以 及 具体 实现 的 步骤 ,在 各 个 阶段 都 有 着 明确 的 目标 。 其 次 ,把 软件 开发 
划分 成 阶段 ,提供 了 对 中 间 产 品 进行 检验 的 依据 。 各 阶段 完成 的 软件 文档 成 为 检验 软件 质 
量 的 主要 对 象 。 很 显然 ,程序 代码 中 的 错误 ,并 不 一 定 是 编码 环节 所 引起 的 ,很 可 能 是 详细 
设计 、 概 要 设计 阶段 ,甚至 是 需求 分 析 阶 段 的 问题 引起 的 。 因 此 ,即使 针对 源 程序 进行 测试 ， 
所 发 现 的 问题 其 根源 也 可 能 在 开发 前 期 的 各 个 阶段 。 解 决 问题 .纠正 错误 也 必须 追溯 到 前 
期 的 工作 。 

从 软件 工程 的 角度 来 看 ,软件 的 生命 周期 一 般 可 以 分 为 4 个 活动 时 期 : 软件 分 析 时 期 、 
软件 设计 时 期 .编码 和 测试 时 期 .软件 运行 与 维护 时 期 。 软 件 测试 横 跨 其 中 的 两 个 阶段 ,在 
进行 编码 的 同时 ,也 进行 着 单元 测试 。 所 谓 单元 测试 就 是 指 在 每 个 模块 编写 出 来 后 对 其 进 
行 的 测试 ,通常 程序 员 和 测试 员 是 同一 个 人 ; 在 编码 结束 后 ,还 有 对 整个 系统 的 综合 测试 ， 
这 时 主要 是 测试 模块 接口 的 正确 性 和 整个 系统 的 功能 。 通 常 由 专业 的 测试 人 员 来 负责 这 一 
工作 ,测试 人 员 有 熟悉 电脑 的 程序 员 ,测试 员 , 也 有 不 熟悉 电脑 的 用 户 。 


1.2.3 软件 测试 的 目标 和 原则 


软件 测试 的 目标 是 要 证 明 程序 中 有 故障 存在 ,并 且 是 最 大 可 能 地 尽早 找 出 最 多 的 错误 ， 
测试 过 程 要 求 设 计 出 最 能 暴露 问题 的 测试 用 例 。 软 件 测试 要 从 软件 有 缺陷 和 故障 这 个 假定 
出 发 去 进行 测试 活动 ,并 从 中 尽 可 能 多 地 发 现 问题 。 实 现 这 个 目的 的 关键 是 如 何 合理 地 设 
计 测试 用 例 。 在 设计 测试 用 例 的 时 候 , 要 着 重 考虑 那些 易于 发 现 程序 错误 的 方法 策略 与 具 
体 数据 。 

测试 是 以 发 现 故障 为 目的 并 为 发 现 故 障 而 执行 程序 的 过 程 。 综 上 所 述 ,软件 测试 的 目 
的 就 是 要 尽早 发 现 软件 缺陷 ,并 确保 其 得 以 修复 。 

为 了 发 现 软件 缺陷 ,应 遵循 以 下 原则 : 

CD. 应 当 把 “尽早 地 和 不 断 地 进行 软件 测试 "作为 软件 开发 者 的 座右铭 。 

(2) 测试 用 例 应 由 测试 输入 数据 和 与 之 对 应 的 预期 输出 结果 这 两 部 分 组 成 。 
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(3) 程序 员 应 避免 检查 自己 的 程序 。 

(4) 在 设计 测试 用 例 时 ,应 当 包 括 合理 的 输入 条 件 和 不 合理 的 输入 条 件 。 

(5) 充分 注意 测试 中 的 群集 现象 。 

(6) 严格 执行 测试 计划 ,排除 测试 的 随意 性 。 

(7) 应 当 对 每 一 个 测试 结果 做 全 面 检查 。 

(8) 妥善 保存 测试 计划 测试 用 例 .出 错 统计 和 最 终 分 析 报 告 ,为 维护 提供 方便 。 


1.2.4 软件 测试 的 代价 


如 果 测 试 软件 不 能 穷尽 所 有 的 情况 , 则 该 软件 就 是 有 风险 的 。 软 件 测试 不 可 能 对 软件 
使 用 中 所 有 的 情况 进行 测试 ,但 有 可 能 用 户 会 在 使 用 该 软件 的 时 候 碰 到 ,并 且 可 能 发 现 软件 
的 缺陷 。 等 到 那个 时 候 ,再 进行 软件 缺陷 的 修复 ,代价 将 是 非常 高 的 。 

软件 测试 的 一 个 主要 工作 原则 就 是 如 何 把 无 边 无 际 的 可 能 性 减少 到 一 个 可 以 控制 的 范 
围 ,以 及 如 何 针对 软件 风险 做 出 恰当 的 选择 ,去 粗 存 精 , 找 到 最 佳 的 测试 量 ,使 测试 工作 量 刚 
好 合适 , 既 能 达到 测试 的 目的 ,又 较为 经 济 。 图 1-1 是 测试 工作 量 和 软件 缺陷 数量 之 间 的 关 
系 曲线 。 
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图 1-1 测试 工作 量 和 软件 缺陷 数量 之 间 的 关系 曲线 


1.2.5 软件 测试 类 别 


软件 测试 有 各 种 分 类 方法 ,按照 不 同 的 分 类 原则 有 不 同 的 分 类 结果 。 软 件 测试 的 分 类 
原则 可 以 有 以 下 几 种 : 

(1) 按照 测试 的 动 .静态 来 分 ,有 静态 测试 和 动态 测试 。 

在 软件 开发 过 程 中 ,每 产生 一 个 文档 ,或 每 一 个 活动 结束 时 产生 文档 ,都 必须 进行 测试 ， 
这 种 测试 叫做 静态 测试 。 静 态 测试 通过 了 ,该 过 程 或 活动 才 算 结 束 , 可 以 进入 下 一 个 阶段 或 
活动 ,这 种 静态 测试 也 叫做 评审 。 

动态 测试 就 是 通过 运行 程序 来 检验 程序 的 动态 行为 和 运行 结果 的 正确 性 。 运 行程 序 不 
是 目的 ,通过 运行 来 检验 程序 是 否 正确 才 是 动态 测试 的 目的 所 在 。 动 态 测试 必须 具备 测试 
用 例 , 有 时 还 需要 具备 驱动 程序 、 桩 模块 和 测试 监视 代码 。 

(2) 按照 软件 层面 来 分 ,将 软件 评审 的 内 容 分 两 个 层面 来 进行 , 即 技术 评审 和 管理 
评审 。 

D 技术 评审 的 任务 
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。 建立 软件 配置 管理 基线 。 

t 提出 并 解决 技术 问题 ,审查 技术 工作 。 

。 评价 项 目的 状态 ,判明 有 关 技 术 问 题 的 近期 .长 期 风险 ,并 加 以 讨论 。 
。 在 技术 代表 的 权限 内 ,达成 已 判明 风险 的 转移 策略 。 

。 标识 呈 交 给 管理 人 员 讨 论 的 风险 要 素 和 有 关 问 题 。 

。 确保 用 户 和 软件 开发 技术 人 员 之 间 的 交流 通畅 。 

@ 管理 评审 的 任务 

报告 上 级 管理 部 门 该 项 目的 状态 、 所 采取 的 方针 、 所 达成 的 技术 协议 以 及 软件 产品 
进展 的 总 体 情况 。 

解决 技术 评审 不 能 解决 的 问题 。 

就 技术 评审 不 能 解决 的 近期 长 期 风险 可 达成 的 转移 战略 。 

鉴别 并 解决 管理 方面 的 问题 以 及 技术 评审 没有 提出 的 风险 。 

征 得 用 户 的 同意 和 各 方 认可 以 便 及 时 完成 。 

(3) 按照 软件 开发 过 程 的 内 、 外 进行 分 类 。 

软件 开发 过 程 中 的 测试 , 按 软 件 开发 过 程 中 所 处 的 阶段 (或 活动 ) 及 其 作用 来 分 ,有 单元 
测试 ,集成 测试 、 系 统 测 试 和 验收 测试 。 

CD 软件 开发 过 程 中 的 测试 ,大 部 分 是 开发 单位 自行 完成 的 。 当 然 ,也 可 交 给 第 三 方 软 
件 测试 机 构 执行 ,但 往往 是 系统 测试 和 验收 测试 。 有 时 ,这 种 测试 ,因为 不 是 由 用 户 进行 的 ， 
又 称 a 测试 。 

© 软件 产品 测试 。 其 测试 对 象 是 产品 化 或 正在 产品 化 的 软件 。 这 种 测试 的 内 容 包 含 
范围 很 广 ,通常 由 第 三 方 软件 测试 机 构 执行 。 

通常 的 软件 产品 测试 : 

。 功能 测试 

。 人 性 能 测试 ; 

。B 测 试 ( 用 户 测 试 ); 

。 Benchmark 测试 。 

专门 的 软件 产品 测试 : 

。 可靠 性 测试 ; 

。 标准 符合 性 测试 ; 

。 互 操作 性 测试 ; 

。 安全 性 测试 ; 

。 强度 测试 。 

(4) 按照 测试 用 例 所 依据 的 信息 来 源 , 测 试 方法 可 以 分 为 如 下 几 种 : 

CD 以 程序 为 基础 的 测试 。 通 过 对 程序 的 分 析 形 成 测试 用 例 ,并 以 程序 被 执行 的 程度 来 
判断 测试 是 否 充分 ,这 就 是 “ 白 盒 法 ”。 

Q) 以 需求 规约 和 需求 描述 为 基础 的 测试 。 通 过 分 析 软 件 的 需求 描述 和 需求 规约 形成 
测试 用 例 , 并 根据 需求 描述 和 需求 规约 所 规定 的 功能 和 性 能 是 否 得 到 了 充分 的 检验 来 判断 
测试 是 否 充分 ,这 就 是 “ 黑 盒 法 ”。 

O 程序 和 需求 相 结合 的 测试 。 综 合 考虑 需求 和 实现 形成 测试 用 例 。 
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@ 以 接口 为 基础 的 测试 。 仅 仅 依 靠 软件 与 其 运行 环境 之 间 的 接口 形成 测试 用 例 ,随机 
测试 就 是 一 种 以 接口 为 基础 的 测试 方法 。 

(5) 按照 判断 测试 的 充分 性 ,测试 方法 可 以 分 为 如 下 几 种 : 

CD 结构 性 测试 , 旨 在 充分 覆盖 程序 结构 ,并 以 程序 中 的 某 类 成 分 是 否 都 已 得 到 测试 为 
依据 ,来 判断 测试 的 充分 性 ,如 语句 覆盖 是 一 种 结构 性 测试 。 

© 排 错 性 测试 , 旨 在 排除 程序 中 潜在 缺陷 的 可 能 性 ,并 根据 测试 用 例 集 排除 软件 潜在 
缺陷 的 可 能 性 能 力 去 判断 测试 的 充分 性 。 

© 分 域 测试 ,通过 对 软件 的 需求 和 实现 进行 分 析 , 将 软件 的 输入 空间 划分 成 一 系列 子 
空间 ,然后 在 每 一 个 子 空间 内 选择 一 个 或 多 个 测试 数据 。 

@ 功能 测试 ,根据 软件 所 需 的 功能 和 所 实现 的 功能 ,形成 测试 用 例 , 分 析 测试 的 充分 性 。 

(6) 按照 软件 测试 的 完整 性 ,从 程序 结构 和 测试 覆盖 程度 出 发 分 为 如 下 几 种 : 

D 完全 性 和 连续 性 测试 

要 求 程序 中 的 所 有 指令 至 少 执行 一 次 (100% 的 语句 覆盖 )。 


© 图 路 径 测试 

所 有 图 路 径 至 少 执行 一 次 (100% 的 图 路 径 覆 盖 ) 。 

© 程序 路 径 测试 

所 有 程序 路 径 至 少 执行 一 次 (100 凶 的 程序 路 径 覆 盖 ) 。 
© 穷 举 测试 


对 输入 参数 的 所 有 值 执行 所 有 程序 路 径 , 或 对 输入 参数 的 所 有 值 和 所 有 输入 序列 以 及 
初始 条 件 的 所 有 组 合 ,执行 所 有 程序 路 径 。 

以 上 这 6 种 软件 测试 的 分 类 方法 ,是 从 不 同 的 技术 角度 对 软件 测试 进行 的 分 类 。 实 际 
上 ,它们 之 间 有 很 多 交互 和 相关 之 处 ,方法 的 分 类 只 是 为 了 能 更 清晰 地 看 到 测试 技术 的 区 
别 ,找到 最 佳 的 测试 方法 。 


(3 软件 测试 模型 


建立 一 个 正确 的 测试 模型 有 利于 对 测试 过 程 的 全 面 认识 。 软 件 测试 专家 通过 测试 实践 
总 结 出 一 些 测试 模型 ,如 V 模型 、W 模型 等 。 显 然 ,测试 作为 开发 过 程 中 的 一 部 分 ,其 流程 
也 是 嵌入 这 些 开发 模型 之 中 的 。 


1.3.1 软件 开发 阶段 与 测试 阶段 的 联系 


为 了 使 软件 测试 过 程 尽 可 能 地 有 效 , 测 试 阶段 需要 伴随 开发 过 程 进行 ,而 不 能 仅仅 作为 
开发 过 程 的 后 续 过 程 进行 ,如 图 1-2 所 示 。 

研究 显示 测试 通常 占 软件 开发 成 本 的 30% 一 50%。 为 了 减 ES 
少 测 试 成 本 ,需要 实现 一 个 结构 化 的 ,经 过 展 好 定义 的 测试 办 s 
法 。 某 些 项 目 可 能 看 起 来 太 小 不 需要 广泛 的 测试 ,但 是 人 们 应 NN 
该 考虑 的 是 错误 可 能 带 来 的 影响 而 不 是 项 目的 大 小 。 但 我 们 也 Wir KENAR 
必须 记 住 测试 仅仅 可 以 表明 错误 的 存在 ,而 无 法 表明 它们 不 adds cie 
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存在 。 
图 1-3 给 出 了 一 个 关于 软件 开发 过 程 和 测试 过 程 的 一 般 解 释 并 且 显示 了 这 些 过 程 之 间 
的 关系 。 实 际 上 ,正如 前 面 提 到 的 ,这 两 个 过 程 应 该 被 作为 一 个 整体 看 待 和 处 理 。 图 1-3 中 
的 花纹 显示 了 不 同 的 阶段 的 关系 。 例 如 ,系统 测试 是 去 检查 软件 产品 是 否 满足 开发 开始 时 
定义 的 需求 。 大 部 分 集成 测试 是 去 检查 开发 的 设计 阶段 所 做 的 逻辑 设计 。 
系统 


测试 计划 与 用 例 计 划 ”单元 测试 ”集成 测试 系统 测试 
图 1-3 测试 阶段 与 开发 阶段 的 关系 


1.3.2 软件 测试 模型 


在 软件 开发 几 十 年 的 实践 过 程 中 ,人 们 总 结 了 很 多 的 开发 模型 ,如 瀑布 模型 .原型 模型 、 
螺旋 模型 . 增 量 模型 渐进 模型 ,快速 软件 开发 (RAD) 及 最 近 比 较 流行 的 Rational 统一 过 程 
(RUP) 等 ,这 些 模 型 对 于 软件 开发 过 程 具有 很 好 的 指导 作用 。 但 是 ,在 这 些 过 程 方法 中 ,并 
没有 充分 强调 测试 的 价值 ,也 没有 给 测试 以 足够 的 重视 ,利用 这 些 模 型 不 能 很 好 地 指导 测试 
实践 。 

软件 测试 是 与 软件 开发 紧密 相关 的 一 系列 有 计划 的 系统 性 活动 ,软件 测试 也 需要 测试 
模型 去 指导 实践 。 软 件 测试 专家 通过 测试 实践 总 结 出 一 些 测试 模型 ,由 于 测试 与 开发 过 程 
是 紧密 结合 的 ,这 些 测试 模型 中 也 包含 开发 过 程 ,体现 测试 与 开发 的 融合 。 下 面 简单 介绍 几 
个 主要 测试 模型 。 


1. V 模型 


在 软件 测试 方面 ,V 模型 是 最 广为人知 的 模型 , 它 最 早 是 由 Paul Rook 在 20 世纪 80 年 
代 后 期 提出 的 , 旨 在 改进 软件 开发 的 效率 和 效果 。 

在 传统 的 开发 模型 中 ,如 瀑布 模型 ,通常 ”需求 分 析 验收 测试 
把 测试 过 程 作为 在 需求 分 析 、 概 要 设计 、 详 细 N 
设计 和 编码 全 部 完成 之 后 的 一 个 阶段 ,尽管 有 sunt 系统 测试 
时 测试 工作 会 占用 整个 项 目 周期 一 半 的 时 间 ， 
但 是 仍 有 人 认为 测试 只 是 一 个 收尾 工作 ,而 不 详细 设计 集成 测试 
是 主要 的 工程 。V 模型 是 瀑布 模型 的 变种 , 它 N 
反映 了 测试 活动 与 分 析 和 设计 等 开发 活动 的 编码 单元 测试 
对 应 关系 。 

图 1-4 就 是 V 模 型 ,图 中 第 头 代表 了 时 间 iX vam 
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方向 ,左边 下 降 的 是 开发 过 程 各 阶段 ,与 此 相对 应 的 是 右边 上 升 的 部 分 , 即 测试 过 程 的 各 个 
阶段 。 

V 模型 从 左 到 右 描述 了 基本 的 开发 过 程 和 测试 行为 ,明确 地 标明 了 测试 工程 中 存在 的 
不 同 级 别 , 清 楚 地 描述 了 这 些 测试 阶段 和 开发 过 程 期 间 各 阶段 的 对 应 关系 。 


2. W 模型 


V 模型 的 局 限 性 在 于 没有 明确 地 说 明 早期 的 测试 ,不 能 体现 “尽早 地 和 不 断 地 进行 软 
件 测试 ?的 原则 。 在 V 模型 中 增加 软件 各 开发 阶段 应 同步 进行 的 测试 , 便 演化 为 W 模型 ， 
开发 是 一 个 V ,测试 是 与 之 相 并 行 的 男 一 个 V。 基 于 “尽早 地 和 不 断 地 进行 软件 测试 "的 原 
则 ,在 软件 的 需求 和 设计 阶段 的 测试 活动 应 遵循 IEEE std1012 一 1998《 软 件 验证 和 确认 
(V&V)) 的 原则 。 

W 模型 (图 1-5) 由 Evolutif 公司 提出 ,相对 于 V 模型 ,W 模型 更 科学 。W 模型 是 V 模 
型 的 发 展 ,强调 的 是 测试 活动 应 该 伴随 整个 软件 开发 周期 ,而 且 测 试 的 对 象 不 仅仅 是 程序 ， 
需求 .设计 同样 要 测试 。 测 试 与 开发 是 同步 进行 的 ,有 利于 尽早 地 发 现 问 题 。 以 需求 为 例 ， 
需求 分 析 一 完成 ,就 可 以 对 需求 进行 测试 ,而 不 是 等 到 最 后 才 进 行 针对 需求 的 验收 测试 。 


需求 分 析 | 《需求 测试 》 系统 安装 | 《验收 测试 》 
Sepa 
A 
Cini ie 
概要 设计 ] 人、、 测 试 ^ 系 统 测试 
Lo 7 
Preis. -< 上 ~、 
详细 设计 ] 《 uc Citi; 
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3. H 模型 


V 模型 和 W 模型 均 存 在 一 些 不 妥 之 处 。 首 先 ,如 前 所 述 ,它们 都 把 软件 的 开发 视 为 需 
求 ,设计 、 编 码 等 一 系列 串 行 的 活动 ,而 事实 上 ,虽然 这 些 活动 之 间 存 在 相互 牵制 的 关系 ,但 
在 大 部 分 时 间 内 ,它们 是 可 以 交叉 进行 的 。 虽 然 软件 开发 期 望 有 清晰 的 需求 .设计 和 编码 阶 
段 ,但 实践 告诉 我 们 ,严格 的 阶段 划分 只 是 一 种 理想 状况 。 试 问 , 有 几 个 软件 项 目 是 在 有 了 
明确 的 需求 之 后 才 开 始 设计 的 呢 ? 所 以 ,相应 的 测试 活动 之 间 也 不 存在 严格 的 次 序 关 系 。 
同时 ,各 层次 之 间 的 测试 也 存在 反复 触发 .迭代 和 增 量 等 关系 。 另 外 ,V 模型 和 W 模型 都 没 
有 很 好 地 体现 测试 流程 的 完整 性 。 

为 了 解决 以 上 问题 ,提出 了 H 模型 。H 模型 将 测试 活动 完全 独立 出 来 ,形成 一 个 完全 
独立 的 流程 ,将 测试 准备 活动 和 测试 执行 活动 清晰 地 体现 出 来 。H 模型 如 图 1-6 所 示 。 

H 模型 图 仅仅 演示 了 在 整个 生存 周期 中 某 个 层次 上 的 一 次 测试 “ 微 循环 "。 图 中 的 其 
他 流程 可 以 是 任意 开发 流程 ,例如 设计 流程 和 编码 流程 。 也 可 以 是 其 他 非 开 发 流程 ,例如 软 
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件 质量 保证 流程 ,甚至 是 测试 流程 自身 。 也 就 是 说 ,只 要 测试 条 件 成 熟 了 ,测试 准备 活动 完 
成 了 ,测试 执行 活动 就 可 以 进行 了 。 


4, X 模型 


X 模型 的 基本 思想 是 由 Marick 提出 的 ,Marick 对 V 模型 最 主要 的 批评 是 V 模型 无 法 
引导 项 目的 全 部 过 程 。 他 认为 一 个 模型 必须 能 处 理 开发 的 所 有 方面 ,包括 交接 、 频 繁重 复 的 
集成 以 及 需求 文档 的 缺乏 等 。Maricke 认为 一 个 模型 不 应 该 规定 那些 和 当前 所 公认 的 实践 
不 一 致 的 行为 。 

X 模型 也 是 对 V 模型 的 改进 ,X 模型 要 求 针 对 单独 的 程序 片段 进行 相互 分 离 的 编码 和 
测试 ,此 后 通过 频繁 的 交接 ,通过 集成 最 终 合成 为 可 执行 的 程序 。 

图 1-7 就 是 X 模型 ,X 模型 的 左边 描述 的 是 针对 单独 程序 片段 所 进行 的 相互 分 离 的 编 
码 和 测试 ,此 后 将 进行 频繁 的 交接 ,通过 集成 最 终 成 为 可 执行 的 程序 ,然后 再 对 这 些 可 执行 
程序 进行 测试 。 已 通过 集成 测试 的 成 品 可 以 进行 封装 并 提交 给 用 户 , 也 可 以 作为 更 大 规模 
和 范围 内 集成 的 一 部 分 。 多 根 并 行 的 曲线 表示 变更 可 以 在 各 个 部 分 发 生 。X 模型 在 图 形 的 
右 下 方 还 定义 了 探索 性 测试 ,这 是 不 进行 事先 计划 的 特殊 类 型 的 测试 ,诸如 “我 这 么 测 一 
下 ,结果 会 怎么 样 "。 这 一 方式 往往 能 帮助 有 经 验 的 测试 人 员 在 测试 计划 之 外 发 现 更 多 
的 软件 错误 ,但 这 样 可 能 对 测试 造成 人 力 .物力 和 财力 的 浪费 ,对 测试 员 的 熟练 程度 要 求 
比较 高 。 


测试 设计 
工具 配置 
执行 测试 
编码 完成 
执行 测试 
工具 配置 
测试 设计 CA S 
te, me WR 
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图 1-7 XX 模型 
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(1.4 测试 驱动 开发 


测试 驱动 开发 (Test Driven Development, TDD) 是 敏捷 开发 中 的 一 项 核心 实践 和 技 
术 , 也 是 一 种 设计 方法 论 。TDD 的 原理 是 在 开发 功能 代码 之 前 , 先 编写 单元 测试 用 例 代 码 ， 
测试 代码 确定 需要 编写 什么 产品 代码 。TDD 虽 是 敏捷 方法 的 核心 实践 ,但 不 只 适用 于 极限 
编程 (Extreme Programming,EP) ,同样 可 以 适用 于 其 他 开发 方法 和 过 程 。 

TDD 的 基本 思路 就 是 通过 测试 来 推动 整个 开发 的 进行 ,但 测试 驱动 开发 并 不 只 是 单纯 
的 测试 工作 ,而 是 把 需求 分 析 设计、 质量 控制 量化 的 过 程 。 

TDD 的 主要 目的 不 仅仅 是 测试 软件 ,测试 工作 保证 代码 质量 仅仅 是 其 中 一 部 分 ,TDD 
还 在 开发 过 程 中 帮助 客户 和 程序 员 去 除 模棱两可 的 需求 。TDD 首先 考虑 使 用 需求 (对 象 、 
功能 .过 程 、 接 口 等 ) ,主要 是 编写 测试 用 例 框 架 对 功能 的 过 程 和 接口 进行 设计 ,而 测试 框架 
可 以 进行 持续 验证 。 


1.4.1. 测试 驱动 开发 的 概念 


测试 驱动 开发 是 极限 编程 的 一 个 重要 组 成 部 分 , 它 的 基本 思想 就 是 在 开发 功能 代码 之 
前 , 先 编写 测试 代码 。 它 以 不 断 地 测试 推动 代码 的 开发 , 既 简化 了 代码 ,又 保证 了 软件 质量 。 
也 就 是 说 在 明确 要 开发 某 个 功能 后 ,首先 思考 如 何 对 这 个 功能 进行 测试 ,并 完成 测试 代码 的 
编写 ,然后 编写 相关 的 代码 满足 这 些 测试 用 例 。 循 环 进行 添加 其 他 功能 ,直到 完成 全 部 功能 
的 开发 。 代 码 整 洁 可 用 是 测试 驱动 开发 所 追求 的 目标 。 这 种 方法 在 实际 中 能 够 起 到 非常 好 
的 效果 ,使 得 测试 工作 成 为 设计 的 一 部 分 ,很 好 地 把 开发 和 测试 融合 为 一 个 整体 。 

测试 驱动 开发 改变 了 编码 的 过 程 ,并且 这 种 改变 不 仅 是 可 能 的 ,同时 也 是 值得 去 做 的 。 
开发 包括 三 方面 的 活动 : 编写 测试 用 例 ,编码 并 进行 测试 , 重 构 代 码 以 消除 重复 代码 使 其 更 
简单 .更 灵活 、 更 容易 理解 。 这 个 过 程 会 频繁 地 重复 ,每 次 进行 测试 均 是 为 了 保证 产品 的 正 
确 性 。 设 计 、 编 码 和 测试 三 者 之 间 的 鸿沟 将 不 再 存在 ,这 样 可 以 促进 对 整个 环境 更 好 地 理 
解 。 因 此 ,设计 和 编码 的 水 平 将 随 着 项 目的 成 熟 逐 步 得 到 改善 而 非 降低 。 


1.4.2 测试 驱动 开发 的 优点 


考虑 实施 TDD 的 最 初 目 的 主要 是 : 更 好 地 适应 需求 及 需求 变更 ,简化 开发 过 程 和 缩短 
开发 周期 。 

当然 ,TDD 带 来 的 好 处 远 不 止 这 些 ,其 优点 还 包括 如 下 几 个 方面 : 

(1) 项 目 进度 可 预测 。 而 传统 的 方式 很 难 知道 什么 时 候 编码 工作 结束 。 

(2) 大 部 分 时 间 代码 处 于 高 质量 状态 ,100% 的 时 间 里 成 果 是 可 见 的 。 

(3) 提供 了 全 面 正确 地 认识 代码 和 利用 代码 的 机 会 ,传统 的 开发 方式 则 没有 这 个 机 会 。 

(4) 为 利用 已 有 成 果 的 人 提供 样本 ,无 论 是 要 利用 源 代码 ,还 是 重用 组 件 。 

(5) 系统 可 以 与 详尽 的 测试 集成 一 起 发 布 ,从 而 为 软件 将 来 版 本 的 扩展 提供 方便 。 

(6) 将 设计 编码 ,测试 融 为 一 体 。 由 于 编写 测试 和 编写 功能 代码 的 是 相同 的 程序 员 ， 
降低 了 理解 代码 所 花费 的 成 本 ; 同时 避免 了 设计 角色 ,因为 对 于 一 个 使 用 TDD 技术 的 开发 
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小 组 而 言 ,每 个 人 都 在 进行 设计 。 

(7) 降低 了 开发 小 组 间 的 交流 成 本 ,提高 了 相互 依赖 程度 。 

(8) 由 于 能 清晰 、 无 二 义 地 描述 对 代码 的 需求 ,从 而 减少 了 文档 对 代码 需求 描述 不 清 而 
引入 缺陷 的 可 能 。 

(9) 在 预先 设计 和 紧急 设计 之 间 建 立 一 种 平衡 点 ,为 开发 (测试 ) 人 员 区 分 哪些 设计 应 
该 事先 做 ,哪些 设计 应 该 迭代 时 做 ,提供 了 一 个 可 靠 的 判断 依据 , 即 避 免 了 过 度 设计 。 

(10) 有 利于 发 现 比 传统 测试 方式 更 多 的 缺陷 。 


1.4.3 测试 驱动 开发 的 原则 
1. 测试 隔离 


不 同 代 码 的 测试 应 该 相互 隔离 。 对 一 块 代码 的 测试 只 考虑 此 代码 的 测试 ,不 要 考虑 其 
实现 细节 (比如 它 使 用 了 其 他 类 的 边界 条 件 ) 。 


2.“ 一 顶 帽 子 ” 


开发 人 员 开 发 过 程 中 要 做 不 同 的 工作 ,比如 编写 测试 代码 、 开 发 功能 代码 、 对 代码 重 构 
等 。 做 不 同 的 事 , 承 担 不 同 的 角色 。 开 发 人 员 完 成 对 应 的 工作 时 应 该 保持 注意 力 集中 在 当 
前 工作 上 ,而 不 要 过 多 的 考虑 其 他 方面 的 细节 ,保证 头 上 只 有 一 项 帽子 。 避 免考 虑 无 关 细 节 
过 多 ,无 谓 地 增加 复杂 度 。 


3. 测试 列表 


需要 测试 的 功能 点 很 多 。 应 该 在 任何 阶段 想 添加 功能 需求 问题 时 ,把 相关 功能 点 加 到 
测试 列表 中 ,然后 继续 手头 工作 ,不 断 地 完成 对 应 的 测试 用 例 、 功 能 代码 、 重 构 。 这 样 既 可 以 
避免 玖 漏 ,也 能 够 避免 干扰 当前 进行 的 工作 。 


4. 测试 驱动 


这 个 比较 核心 。 完 成 某 个 功能 、 某 个 类 ,首先 编写 测试 代码 ,考虑 其 如 何 使 用 、 如 何 测 
试 。 然 后 再 对 其 进行 设计 编码。 


5. 先 写 断言 


编写 测试 代码 时 ,应 该 首先 编写 对 功能 代码 的 判断 用 的 断言 语句 ,然后 编写 相应 的 辅助 
语句 。 


6. 可 测试 性 


功能 代码 设计 、 开 发 时 应 该 具有 和 较 强 的 可 测试 性 。 其 实 遵 循 比较 好 的 设计 原则 的 代码 
都 具备 较 好 的 测试 性 。 比 如 比较 高 的 内 聚 性 .尽量 依 赖 于 接口 等 。 


7. 及 时 重 构 
无 论 是 功能 代码 还 是 测试 代码 ,对 结构 不 合理 ,重复 代码 等 情况 ,在 测试 通过 后 ,及 时 进 
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TEH. 
(5 软件 质量 保证 


软件 作为 一 种 逻辑 产品 ,是 人 类 思维 的 创造 物 ,其 新 旧 技术 的 更 新 换代 比 起 传统 领域 要 
迅速 得 多 。 随 着 时 间 的 推移 ,软件 的 应 用 范围 越 来 越 广 ,已 成 为 国民 经 济 、 国 防 和 日 常生 活 
中 必 不 可 少 的 重要 组 成 部 分 ,同时 随 着 软件 的 规模 和 复杂 度 的 迅速 增 大 ,其 开发 过 程 不 易 把 
握 , 开 发 进度 、 成 本 与 计划 不 符 的 问题 也 日 益 严 重 ,软件 的 质量 越 来 越 成 为 人 们 关注 的 焦点 。 

软件 质量 是 贯穿 软件 生存 期 的 一 个 极为 重要 的 问题 。 同 时 , 面 对 不 断 变 化 和 激烈 竞争 
的 市 场 ,产品 质量 已 成 为 公司 和 企业 得 以 保持 其 长 期 竞争 优势 的 关键 。 如 何 产 生 一 个 高 质 
量 的 软件 产品 ,尤其 是 如 何 从 企业 角度 出 发 ,控制 整个 软件 的 生产 过 程 ,确保 软件 产品 的 高 
质量 以 及 如 何 使 软件 摆脱 极 强 的 特殊 性 ,如 业务 领域 .开发 人 员 能 力 等 ,而 达到 统一 的 水 平 ， 
是 现 阶段 摆 在 许多 软件 企业 面前 的 一 个 迫切 的 问题 。 

软件 质量 保证 (Software Quality Assurance,SQA) 是 建立 一 套 有 计划 、 有 系统 的 方法 ， 
来 向 管理 层 保证 拟定 出 的 标准 、 步 又 ,实践 和 方法 能 够 正确 地 被 所 有 项 目 采用 。 软 件 质 量 保 
证 的 目的 是 使 软件 过 程 对 管理 人 员 是 可 见 的 , 它 通 过 对 软件 产品 和 活动 进行 评审 和 审计 来 
验证 软件 是 否 合乎 标准 。 软 件 质量 保证 人 员 在 项 目 开始 时 就 参与 到 开发 过 程 中 ,保障 开发 
过 程 的 质量 。 


1.5.1 软件 质量 和 软件 质量 模型 
1. 质量 和 软件 质量 的 概念 


质量 是 “反映 实体 满足 明确 或 隐 含 需要 能 力 的 特性 总 和 ”(ISO 8402) 。 质 量 就 其 本 质 来 
说 是 一 种 客观 事物 具有 某 种 能 力 的 属性 ,由 于 客观 事物 具备 了 某 种 能 力 , 才 可 能 满足 人 们 的 
需要 。 质 量 的 定义 中 所 说 的 “实体 ”是 指 可 单独 描述 和 研究 的 事物 。 

ISO 9000 中 对 质量 的 定义 是 这 样 的 :“ 质 量 指 一 组 固有 特性 满足 要 求 的 程度 ”。 定 义 中 
的 “特性 ”是 指 事物 所 特有 的 性 质 ,固有 特性 是 事物 本 来 就 有 的 , 它 是 通过 产品 .过 程 或 体系 
设计 和 开发 .实现 过 程 形成 的 属性 .“ 满 足 要 求 ” 就 是 应 满足 明示 的 (如 明确 规定 的 )、 隐 含 的 
(如 组 织 的 惯例 一般 习惯 ) 或 必须 履行 的 (如 法 律 法 规 , 行 业 规 则 ) 的 需要 和 期 望 。 只 有 全 面 
满足 这 些 要 求 ,才能 评定 为 好 的 质量 或 优秀 的 质量 。 

在 质量 管理 过 程 中 ,质量 ”的 含义 是 广义 的 ,除了 产品 质量 之 外 ,还 包括 工作 质量 。 质 
量 管理 不 仅 要 管 好 产品 本 身 的 质量 ,还 要 管 好 质量 赖 以 产生 和 形成 的 工作 质量 ,并 以 工作 质 
量 为 重点 。 

ANSI/IEEE Std 729—1983 中 对 软件 质量 这 样 定 义 :“ 与 软件 产品 满足 规定 的 和 隐 含 
的 需求 的 能 力 有 关 的 特征 或 特性 的 全 体 ”。 

软件 质量 反映 了 以 下 三 方面 的 问题 : 

。 软件 需求 是 度量 软件 质量 的 基础 。 不 符合 需求 的 软件 就 不 具备 质量 。 

。 规范 化 的 标准 定义 了 一 组 开发 准则 ,用 来 指导 软件 人 员 用 工程 化 的 方法 来 开发 软 

件 。 如 果 不 遵守 这 些 开 发 准则 ,软件 质量 就 得 不 到 保证 。 
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。 往往 会 有 一 些 隐 含 的 需求 没有 显 式 地 提出 来 。 如 软件 应 具备 良好 的 可 维护 性 。 如 
果 软 件 只 满足 那些 精确 定义 了 的 需求 而 没有 满足 这 些 隐 含 的 需求 ,软件 质量 也 不 能 
保证 。 
软件 质量 是 各 种 特性 的 复杂 组 合 。 它 随 着 应 用 的 不 同 而 不 同 , 随 着 用 户 提出 的 质量 要 
求 不 同 而 不 同 。 因 此 ,有 必要 讨论 各 种 质量 特性 以 及 评价 质量 的 准则 ,还 要 介绍 为 保证 质量 
所 进行 的 各 种 活动 。 


2. 软件 质量 特性 与 质量 模型 


软件 质量 特性 ,反映 了 软件 的 本 质 。 讨 论 一 个 软件 的 质量 ,问题 最 终 要 归结 到 定义 软件 
的 质量 特性 。 而 定义 一 个 软件 的 质量 ,就 等 价 于 为 该 软件 定义 一 系列 质量 特性 。 

人 们 通常 把 影响 软件 质量 的 特性 用 软件 质量 模型 来 描述 。 已 有 多 种 有 关 软 件 质量 模型 
的 方案 。 它 们 共同 的 特点 是 : 把 软件 质量 特性 定义 成 分 层 模型 。 最 基本 的 叫做 基本 质量 特 
性 , 它 可 以 由 一 些 子 质量 特性 定义 和 度量 。 子 质量 特性 在 必要 时 又 可 由 它 的 一 些 子 质量 特 
性 定义 和 度量 。 

时 在 1976 年 ,由 Boehm 等 提出 软件 质量 模型 的 分 层 方案 。1979 年 McCall 等 改进 
Boehm 质量 模型 ,又 提出 了 一 种 软件 质量 模型 。 模 型 的 三 层次 式 框架 如 图 1-8 所 示 。 质 量 
模型 中 的 质量 概念 基于 11 个 特性 之 上 。 而 这 11 个 特性 分 别 面向 软件 产品 的 运行 ,修正 、 转 
移 。 它 们 与 特性 的 关系 如 图 1-9 R. McCall 等 认为 ,特性 是 软件 质量 的 反映 ,软件 属性 
可 用 做 评价 准则 ,定量 化 地 度量 软件 属性 可 知 软件 质量 的 优 劣 。 


质量 特性 


可 维护 性 
可 测试 性 
灵活 性 


可 移植 性 
可 复 用 性 
互 连 性 


度量 | | 度量 | | 度量 正确 性 可 靠 性 效率 可 使 用 性 完整 性 
图 1-8. McCall 质量 模型 框架 图 1-9 McCall 软件 质量 模型 


在 ISO 国际 标准 中 ,也 有 关于 软件 质量 的 模型 。ISO/IEC 9126—1991 标准 规定 的 软件 
质量 模型 由 三 个 层次 组 成 。 在 这 个 标准 中 ,三 个 层次 中 的 第 一 层 称 为 质量 特性 ,第 二 层 称 为 
质量 子 特性 ,第 三 层 称 为 度量 ,如 图 1-10 所 示 。 该 标准 定义 了 6 个 质量 特性 , 即 功能 性 、 可 
靠 性 ,可 维护 性 ,效率 、 可 使 用 性 \、 可 移植 性 ; 并 推荐 了 21 个 子 特性 , 即 适 合 性 、 准 确 性 、 互 操 
作 性 ,依从 性 、 安 全 性 \ 成 熟 性 、 容 错 性 、 易 恢复 性 、 易 理解 性 、 易 学 习性 、 易 操作 性 、 时 间 特 性 、 
资源 特性 、 易 分 析 性 、 易 变更 性 、 稳 定性 、 易 测试 性 、 适 应 性 、 易 安装 性 、 遵 循 性 、 易 替换 性 ,但 
不 作为 标准 。 用 于 评价 质量 子 特性 的 度量 没有 统一 的 标准 ,由 各 使 用 单位 视 实际 情况 制定 。 


3. 软件 质量 特性 之 间 的 竞争 


在 软件 的 质量 特性 与 质量 特性 之 间 、 质 量 特性 与 子 特性 之 间 存在 着 有 利 影响 和 不 利 影 
响 , 若 用 “人 ”表示 该 质量 特性 对 质量 特性 有 有 利 影响 ; H“ V ”表示 该 质量 特性 对 质量 特性 
有 不 利 影响 。 则 有 下 面 表 1-1 所 示 的 关系 。 例 如 ,由 于 效率 的 要 求 ,应 尽 可 能 采用 汇编 语 
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质量 子 特性 
适合 性 
准确 性 
互 操作 性 


可 移植 性 


图 1-10 


易 测 试 性 
适应 性 
易 安装 性 
遵循 性 
易 替 换 性 
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言 。 但 是 用 汇编 语言 编制 出 的 程序 ,可 靠 性 、 可 移植 性 以 及 可 维护 性 都 很 差 。 在 进行 软件 质 
量 设计 时 ,必须 考虑 利弊 ,全 面 权 衡 ,根据 质量 需求 ,适当 合理 地 选择 /设计 质量 特性 ,并 进行 


评价 。 
表 1-1 各 质量 特性 之 间 的 关系 
功能 性 可 靠 性 可 使 用 性 效率 可 维护 性 可 移植 性 

功能 性 A^ A^ 

可 靠 性 M A^ 

可 使 用 性 M A A 
效率 v v v 

可 维护 性 人 M A 
可 移植 性 v V 


1.5.2. 软件 能 力 成 熟 度 模型 


为 了 解决 软件 危机 的 问题 ,企业 界 在 软件 工程 .技术 和 工具 方面 投入 了 大 量 的 人 力 、 物 
力 和 财力 ,希望 能 找到 一 种 提高 软件 质量 的 有 效 方法 ,他 们 致力 于 探索 开发 软件 的 新 技术 、 
新 方法 ,试图 提高 软件 生产 率 和 质量 。 而 这 些 新 技术 .新 方法 确实 也 为 解决 软件 危机 提供 了 
一 些 帮助 。 例 如 面向 对 象 方法 , 它 很 好 地 解决 了 软件 开发 完备 性 和 软件 代码 重用 性 等 问题 。 
但 这 些 方法 都 没有 从 根本 上 解决 软件 危机 。 软 件 产品 的 开发 .维护 杂乱 无 章 , 软 件 企业 的 成 
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熟 状况 依然 困扰 着 软件 产业 的 发 展 。 于 是 专家 们 开始 从 软件 过 程 的 管理 方面 着 手 解决 软件 
危机 问题 。 软 件 企业 开始 希望 能 有 效 地 控制 软件 的 开发 和 维护 过 程 ,使 企业 的 内 部 形成 优 
秀 的 软件 工程 和 软件 管理 文化 。 

在 20 世纪 80 年 代 中 期 ,由 美国 国防 部 资助 , 卡 内 基 。 梅 隆 大 学 (Carnegie Mellon 
University) 软 件 工 程 研究 所 (Software Engineering Institute,SED) 最 先 提出 的 “软件 能 力 成 
熟 度 模型 (Software Capability Maturlty Model, SW-CMM)” 理 论 , 其 应 用 在 20 世纪 90 年 
代 正 式 发 表 为 研究 成 果 。 这 一 成 果 已 经 得 到 了 众多 国家 软件 产业 界 的 认可 ,并 且 在 北美 、 欧 
洲 和 日 本 等 国家 及 地 区 得 到 了 广泛 应 用 ,成 为 事实 上 的 软件 过 程 改 进 的 工业 标准 。 

SEI 给 CMM 下 的 定义 是 : 对 于 软件 组 织 在 定义 、 实 现 ,度量 ,控制 和 改善 其 软件 过 程 
的 进程 中 各 个 发 展 阶段 的 描述 。 该 模型 便于 确定 软件 组 织 的 现 有 过 程 能 力 并 查找 出 软件 品 
质 及 过 程 改进 方面 的 最 关键 的 问题 ,从 而 为 选择 过 程 改善 战略 提供 指南 。 其 目的 是 帮助 软 
件 企业 对 软件 工程 过 程 进行 管理 和 改善 ,增强 开发 与 改进 能 力 , 从 而 能 按时 地 ,不 超 预 算 地 
开发 出 高 品质 的 软件 。CMM 是 一 种 用 于 评价 软件 能 力 并 帮助 其 改善 软件 品质 的 方法 ,以 
逐步 演进 的 架构 形式 不 断 地 完善 软件 开发 和 维护 过 程 , 具 备 变 革 的 内 在 原动力 。 

CMM 的 基本 理念 在 于 : 如 果 不 可 视 , 就 难以 控制 ; 不 能 控制 ,反馈 就 难以 发 挥 效果 ; 
反馈 无 效 , 就 难以 改善 。 就 像 中 药 一 样 ,CMM 的 功效 在 于 其 改善 的 持续 性 。CMM 在 日 本 
受到 各 大 企业 的 重视 ,NEC 富士通 NTT 软件 .东芝 等 企业 都 以 SW-CMM 为 参考 ,以 本 企 
业 的 改善 活动 经 验 为 基础 ,开发 出 改善 模型 并 加 以 实施 。 

CMM 为 企业 的 软件 过 程 能 力 提供 了 一 个 阶梯 式 的 进化 框架 ,阶梯 共有 5 级 ,如 图 1-11 
所 示 。 第 一 级 只 是 一 个 起 点 ,任何 准备 按 CMM 体系 进化 的 企业 都 自然 处 于 这 个 起 点 上 ,并 
通过 它 向 第 二 级 迈进 。 除 第 一 级 外 ,每 一 级 都 设 定 了 一 组 目标 ,如 果 达 到 了 这 组 目标 , 则 表 
明达 到 了 这 个 成 熟 级 别 ,可 以 向 下 一 级 别 迈进 。 


持续 改进 过 程 € 优化 级 | 过 程 能 不 断 得 到 优化 4 
1 


| 
可 预测 过 各 e 已 管理 级 | 过 程 能 定量 化 管理 和 控制 UE 


已 定义 级 过程 具 有 稳定 性 ,并 被 重复 再 角 | ， 

D 
MEIE S | 可 重复 级 | 过 程 可 控 ,能 重复 以 往 的 项 目 成 功 "e 
无 序 过 程 初始 级 | 过 程 不 可 预测 ,难以 控制 Ld 


图 1-11 软件 能 力 成 熟 度 模型 


第 一 级 : 初始 级 (Initial) 

初始 级 的 软件 过 程 是 未 加 定义 的 随意 过 程 ,项 目的 执行 是 随意 甚至 是 混乱 的 。 也 许 有 
些 企业 制订 了 一 些 软 件 工程 规范 ,但 车 这 些 规范 未 能 覆盖 基本 的 关键 过 程 要 求 , 且 执行 没有 
政策 .资源 等 方面 的 保证 时 ,那么 它 仍 然 被 视 为 初始 级 。 

第 二 级 : 可 重复 级 (Repeatable) 

根据 多 年 的 经 验 和 教训 ,人 们 总 结 出 软件 开发 的 首要 问题 不 是 技术 问题 而 是 管理 问题 。 
因此 ,第 二 级 的 焦点 集中 在 软件 管理 过 程 上 。 一 个 可 管理 的 过 程 则 是 一 个 可 重复 的 过 程 ,可 
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重复 的 过 程 才 能 逐渐 改进 和 成 熟 。 可 重复 级 的 管理 过 程 包括 了 需求 管理 \ 项 目 管理 .质量 管 
理 , 配 置 管理 和 子 合同 管理 5 个 方面 ; 其 中 项 目 管理 过 程 又 分 为 计划 过 程 和 跟踪 与 监控 
过 程 。 

通过 实施 这 些 过 程 ,从 管理 角度 可 以 看 到 一 个 按 计划 执行 的 且 阶 段 可 控 的 软件 开发 
过 程 。 

第 三 级 : 已 定义 级 (Defined) 

在 可 重复 级 定义 了 管理 的 基本 过 程 , 而 没有 定义 执行 的 步骤 标准 。 在 第 三 级 则 要 求 制 
订 企业 范围 的 工程 化 标准 ,并 将 这 些 标 准 集成 到 企业 软件 开发 标准 过 程 中 去 。 所 有 开发 的 
项 目 需要 根据 这 个 标准 过 程 , 裁 剪 出 与 项 目 适 宜 的 过 程 ,并 且 按 照 过 程 执行 。 过 程 的 裁剪 不 
是 随意 的 ,在 使 用 前 必须 经 过 企业 有 关 人 员 的 批准 。 

第 四 级 : 已 管理 级 (Managed) 

第 四 级 的 管理 是 量化 的 管理 。 所 有 过 程 需 建立 相应 的 度量 方式 ,所 有 产品 的 质量 (包括 
工作 产品 和 提交 给 用 户 的 最 终 产 品 ) 需 要 有 明确 的 度量 指标 。 这 些 度量 应 是 详尽 的 , 且 可 用 
于 理解 和 控制 软件 过 程 和 产品 。 量 化 控制 将 使 软件 开发 真正 成 为 一 种 工业 生产 活动 。 

第 五 级 : 优化 级 (Optimizing) 

优化 级 的 目标 是 达到 一 个 持续 改善 的 境界 。 所 谓 持续 改善 是 指 可 以 根据 过 程 执行 的 反 
馈 信息 来 改善 下 一 步 的 执行 过 程 , 即 优化 执行 步骤 。 如 果 企 业 达到 了 第 五 级 ,就 表明 该 企业 
能 够 根据 实际 的 项 目 性 质 .技术 等 因素 ,不断 调整 软件 生产 过 程 以 求 达 到 最 佳 。 

CMM 提供 了 一 个 软件 过 程 改 进 的 框架 ,这 具体 与 软件 生命 周期 无 关 , 也 与 所 采用 的 开 
发 技术 无 关 。 在 开发 企业 内 部 ,根据 这 个 CMM 模型 ,可 以 极 大 程度 地 提高 按 计划 的 时 间 和 
成 本 提交 有 质量 保证 的 软件 产品 的 能 力 。 

CMM 描述 了 一 个 有 效 的 软件 过 程 的 各 个 关键 元 素 , 指 出 了 一 个 软件 企业 从 无 序 的 ,不 
成 熟 的 过 程 到 成 熟 的 有 纪律 的 过 程 进 化 的 改进 途径 。 

CMM 以 具体 实践 为 基础 ,包括 对 软件 开发 和 维护 进行 策划 .工程 化 和 管理 的 实践 , 遵 
循 这 些 关 键 实践 就 能 改进 组 织 在 实现 有 关 成 本 、 进 度 .功能 和 产品 质量 等 目标 上 的 能 力 。 

CMM 建立 起 一 个 标准 ,对 照 这 个 标准 就 能 以 可 重复 的 方式 判断 组 织 软件 过 程 的 成 熟 
度 , 并 能 将 过 程 成 熟 度 与 工业 的 实践 状态 作 比较 ,组 织 也 能 采用 CMM 去 规划 它 的 软件 过 程 
改进 。 


1.5.3 软件 测试 成 熟 度 模型 


TMM 即 Software Testing Maturity Model SW-TMMD , 意 为 “软件 测试 能 力 成 熟 度 模 
型 ,是 IIT(Indian Institute of Technology) 大 学 提出 来 匹配 CMM.、5 级 的 测试 管理 模型 。 
由 于 软件 的 健壮 性 和 软件 测试 过 程 专业 化 并 没有 完全 结合 在 一 起 ,因此 开始 对 软件 测试 过 
程 进行 评估 ,从 而 产生 了 软件 测试 成 熟 度 模型 。 软 件 测试 成 熟 度 模型 可 以 记录 当前 等 级 , 指 
明 预 期 等 级 和 实际 等 级 之 间 的 差距 ,提供 必要 过 程 改 进 的 方法 。 

软件 测试 成 熟 度 模型 (TMM) 是 当前 影响 力 最 大 的 软件 测试 过 程 模型 ,其 具有 如 下 

CD 等 级 水 平 结构 关键 活动 和 角色 的 定义 最 为 精细 。 

(2) 测试 相关 因素 覆盖 最 全 面 。 
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O 支持 测试 过 程 成 熟 度 增长 。 

CD 有 定义 良好 的 评估 模型 的 支持 。 

(5) 实施 TMM 能 改进 测试 过 程 , 并 有 助 于 提高 软件 质量 .软件 工程 生产 力 和 缩短 研发 
周期 ,减少 投入 。 

作为 一 类 等 级 递增 模型 ,TMM 体现 了 20 世纪 50 年 代 到 20 世纪 末 的 测试 阶段 划分 和 
测试 目标 定义 的 发 展 历程 。 它 来 源 于 当前 的 工程 实践 总 结 ,并 充分 利用 了 Beizer 的 测试 人 
员 思 考 模式 的 进化 模型 。 它 能 够 用 于 分 析 软 件 测试 机 构 运 作 过 程 中 最 优秀 或 最 混乱 的 区 
域 , 并 辅助 软件 测试 机 构 进行 测试 过 程 的 评估 与 改进 。 

TMM 制定 了 5 个 成 熟 度 等 级 : 初始 级 ,阶段 定义 级 ,集成 级 ,管理 和 度量 级 ,优化 、 缺 
陷 预 防 和 质量 控制 级 。 各 级 成 熟 度 水 平 包含 了 一 组 成 熟 度 目标 和 子 目 标 以 及 支持 它们 的 任 
务 、 职 责 和 活动 。 

第 一 级 一 一 初始 级 

TMM 初始 级 软件 测试 过 程 的 特点 是 测试 过 程 无 序 ,有 时 甚至 是 混乱 的 ,几乎 没有 妥善 
的 定义 。 初 始 级 中 软件 的 测试 与 调试 常常 被 混为一谈 ,软件 开发 过 程 中 缺乏 测试 资源 .工具 
以 及 训练 有 素 的 测试 人 员 。 初 始 级 的 软件 测试 过 程 没 有 定义 成 熟 度 目标 。 

第 二 级 一 一 阶段 定义 级 

TMM 的 阶段 定义 级 中 ,测试 活动 是 按照 计划 进行 的 ,测试 已 具备 基本 的 测试 技术 和 方 
法 (如 白 盒 测 试 和 黑 盒 测 试 ) ,软件 的 测试 与 调试 已 经 被 明确 地 区 分 开 。 这 时 ,测试 被 定义 为 
软件 生命 周期 中 的 一 个 阶段 , 它 紧 随 在 编码 阶段 之 后 。 但 在 定义 级 中 ,测试 计划 往往 在 编码 
之 后 才 得 以 制订 ,这 显然 有 悖 于 软件 工程 的 要 求 。 

TMM 的 阶段 定义 级 中 需 实现 3 个 成 熟 度 目标 : 制订 测试 与 调试 的 目标 和 策略 ,启动 
测试 计划 过 程 ,制度 化 基本 的 测试 技术 和 方法 。 

第 三 级 一 一 集成 级 

在 集成 级 ,测试 不 仅仅 是 跟随 在 编码 阶段 之 后 的 一 个 阶段 , 它 已 被 扩展 成 与 软件 生命 周 
期 融 为 一 体 的 一 组 已 定义 的 活动 。 测 试 活动 遵循 软件 生命 周期 的 V 模型 。 测 试 人 员 在 需 
求 分 析 阶 段 便 开 始 着 手 制订 测试 计划 ,并 根据 用 户 或 客户 需求 建立 测试 目标 ,同时 设计 测试 
用 例 并 制订 测试 通过 准则 。 在 集成 级 上 ,应 成 立 软件 测试 机 构 ,提供 测试 技术 培训 ,关键 的 
测试 活动 应 有 相应 的 测试 工具 予以 支持 。 在 该 测试 成 熟 度 等 级 上 ,没有 正式 的 评审 程序 , 没 
有 建立 质量 过 程 和 产品 属性 的 测试 度量 。 集 成 级 要 实现 4 个 成 熟 度 目 标 , 它 们 分 别 是 : 建 
立 软 件 测试 机 构 ,制订 技术 培训 计划 ,软件 全 寿命 周期 测试 ,控制 和 监督 测试 过 程 。 

在 TMM 的 定义 级 ,测试 过 程 中 引入 计划 能 力 。 在 TMM 的 集成 级 ,测试 过 程 引 入 控制 
和 监督 活动 。 两 者 均 为 测试 过 程 提 供 了 可 见 性 ,为 测试 过 程 的 持续 进行 提供 保证 。 

第 四 级 一 一 管理 和 度量 级 

在 管理 和 度量 级 ,测试 活动 除 测试 被 测 程序 外 ,还 包括 软件 生命 周期 中 各 个 阶段 的 评 
审 、 审 查 和 追查 ,使 测试 活动 涵盖 了 软件 验证 和 软件 确认 活动 。 根 据 管理 和 度量 级 的 要 求 ， 
软件 工作 产品 以 及 与 测试 相关 的 工作 产品 ,如 测试 计划 ,测试 设计 和 测试 步骤 都 要 经 过 评 
审 。 因 为 测试 是 一 个 可 以 量化 并 度量 的 过 程 ,为 了 度量 测试 过 程 ,测试 人 员 应 建立 测试 数据 
库 , 收 集 和 记录 各 软件 工程 项 目 中 使 用 的 测试 用 例 , 记 录 缺 陷 并 按 缺 陷 的 严重 程度 划分 等 
级 。 此 外 ,所 建立 的 测试 规程 应 能 够 支持 软件 组 织 最 终 对 测试 过 程 的 控制 和 度量 。 管 理 和 
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度量 级 有 3 个 要 实现 的 成 熟 度 目 标 : 建立 组 织 范 围 内 的 评审 程序 ,建立 测试 过 程 的 度量 程 
序 和 软件 质量 评价 。 

第 五 级 一 一 优化 、 预 防 缺陷 和 质量 控制 级 

由 于 本 级 的 测试 过 程 是 可 重复 的 ,已 定义 的 ,已 管理 的 和 已 度量 的 ,因此 软件 组 织 能 够 
优化 调整 和 持续 改进 测试 过 程 。 测 试 过 程 的 管理 为 持续 改进 产品 质量 和 过 程 质量 提供 指 
导 , 并 提供 必要 的 基础 设施 。 优 化 预防 缺陷 和 质量 控制 级 有 3 个 要 实现 的 成 熟 度 目标 : 应 
用 过 程 数 据 预 防 缺陷 ,质量 控制 和 测试 过 程 优化 。 


1.5.4 软件 质量 保证 


软件 质量 保证 (Software Quality Assurance: SQA) 是 一 种 有 计划 的 、 系 统 的 评估 软件 
产品 质量 ,确保 软件 产品 符合 相关 标准 \ 流 程 的 活动 。 就 是 向 用 户 及 社会 提供 满意 的 高 质量 
的 产品 ,确保 软件 产品 从 诞生 到 消亡 为 止 的 所 有 阶段 的 质量 的 活动 , 即 确定 、 达 到 和 维护 需 
要 的 软件 质量 而 进行 的 所 有 有 计划 、 有 系统 的 管理 活动 。 


1. SOA 的 目的 


软件 质量 保证 的 目标 是 以 独立 审查 方式 ,从 第 三 方 的 角度 监控 软件 开发 任务 的 执行 ,就 
软件 项 目 是 否 正 遵循 已 制订 的 计划 、 标 准 和 规程 给 开发 人 员 和 管理 层 提供 反映 产品 和 过 程 
质量 的 信息 和 数据 ,提高 项 目 透明 度 , 同 时 辅助 软件 工程 组 取得 高 质量 的 软件 产品 。 主 要 包 
括 以 下 4 个 方面 : 
通过 监控 软件 开发 过 程 来 保证 产品 质量 。 

。 保证 开发 出 来 的 软件 和 软件 开发 过 程 符合 相应 标准 与 规程 。 

。 保 证 软件 产品 ,软件 过 程 中 存在 的 不 符合 问题 得 到 处 理 ,必要 时 将 问题 反映 给 高 级 
管理 者 。 

确保 项 目 组 制订 的 计划 ,标准 和 规程 适合 项 目 组 的 需要 ,同时 满足 评审 和 审计 需要 。 


2. SOA 组 织 的 主要 工作 


SQA 组 织 的 主要 工作 包括 两 方面 : 监控 软件 的 开发 过 程 ,保证 软件 开发 过 程 符合 相应 
的 标准 与 规程 ; 保证 软件 产品 ` 软 件 过 程 中 存在 的 不 符合 问题 得 到 处 理 , 必 要 时 将 问题 反映 
给 高 级 管理 者 。 
SQA 的 主要 作用 是 给 管理 者 提供 实现 软件 过 程 的 保证 ,因此 SQA 组 织 需要 保证 : 
选 定 的 开发 方法 被 采用 。 
。 选 定 的 标准 和 规程 得 到 采用 和 遵循 。 
。 进行 独立 的 审查 。 
偏离 标准 和 规程 的 问题 得 到 及 时 地 反映 和 处 理 。 
项 目 定义 的 每 个 软件 任务 得 到 实际 执行 。 


3. SOA 人 员 的 组 成 


软件 企业 中 的 SQA 人 员 既 可 以 由 全 职 人 员 担 任 , 也 可 以 由 企业 内 具有 相关 素质 、 经 疡 
SQA 培训 的 人 员 兼 职 担任 。 由 此 组 成 的 SQA 小 组 可 能 是 一 个 真正 的 物理 上 存在 的 独立 部 
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门 ,也 可 以 是 一 个 逻辑 上 存在 的 平台 。 但 不 管 是 真正 的 独立 部 门 还 是 逻辑 上 的 平台 , 它 都 需 
要 有 一 个 灵魂 人 物 一 一 SQA 小 组 组 长 ,来 组 织 SQA 小 组 的 日 常 活动 。 

在 给 一 个 项 目 组 分 配 负责 监督 其 项 目 过 程 的 SQA 时 ,一 定 要 注意 一 点 : 就 是 该 项 目的 
SQA 不 能 是 该 项 目 组 的 开发 人 员 ,配置 管理 人 员 或 测试 人 员 ,一 个 项 目的 SQA 除了 监控 项 
目 过 程 ,完成 SQA 相关 工作 以 外 ,不 应 该 参与 项 目 组 的 其 他 实质 性 工作 ,否则 他 会 与 项 目 
组 捆绑 在 一 起 ,很 难保 持 客观 性 。 


4. 软件 质量 保证 的 工作 内 容 


软件 质量 保证 的 工作 内 容 主 要 包括 以 下 6 35. 

(D 5 SQA 计划 直接 相关 的 工作 : SQA 在 项 目 早 期 要 根据 项 目 计划 制订 与 其 对 应 的 
SQA 计划 ,定义 出 各 阶段 的 检查 重点 ,标识 出 检查 .审计 的 工作 产品 对 象 以 及 在 每 个 阶段 
SQA 的 输出 产品 。 

(2) 参与 项 目的 阶段 性 评审 和 审计 : 在 SQA 计划 中 通常 已 经 根据 项 目 计 划 定 义 了 与 
项 目 阶段 相应 的 阶段 检查 ,包括 参加 项 目 在 本 阶段 的 评审 和 对 其 阶段 产品 的 审计 。 对 于 阶 
段 产品 的 审计 通常 是 检查 其 阶段 产品 是 否 按 计 划 按 规程 输出 并 内 容 完整 ,这 里 的 规程 包括 
企业 内 部 统一 的 规程 也 包括 项 目 组 内 自己 定义 的 规程 。 

(3) 对 项 目 日 常 活动 与 规程 的 符合 性 进行 检查 : 这 部 分 的 工作 内 容 是 SQA 的 日 常 工 
EAR. HF SQA 独立 于 项 目 组 ,如 果 只 是 参与 阶段 性 的 检查 和 审计 ,很 难 及 时 反映 项 目 
组 的 工作 过 程 , 所 以 SQA 也 要 在 两 个 阶段 点 之 间 设 置 若干 小 的 跟踪 点 ,来 监督 项 目的 进行 
情况 ,以 便 能 及 时 反映 出 项 目 组 中 存在 的 问题 ,并 对 其 进行 追踪 。 如 果 只 在 阶段 点 进行 检查 
和 审计 ,即便 发 现 了 问题 也 难免 过 于 滞后 ,不 符合 尽早 发 现 问题 把 问题 控制 在 最 小 的 范 目 
之 内 的 整体 目标 。 

CD 对 配置 管理 工作 的 检查 和 审计 : SQA 要 对 项 目 过 程 中 的 配置 管理 工作 是 否 按照 项 
目 最 初 制订 的 配置 管理 计划 进行 监督 ,包括 配置 管理 人 员 是 否定 期 进行 该 方面 的 工作 ,是 否 
所 有 人 得 到 的 都 是 开发 过 程 产品 的 有 效 版 本 。 这 里 的 过 程 产 品 包 括 项 目 过 程 中 产生 的 代码 
和 文档 。 

(5) 跟踪 问题 的 解决 情况 : 对 于 评审 中 发 现 的 问题 和 项 目 日 常 工作 中 发 现 的 问题 ， 
SQA 要 进行 跟踪 ,直至 解决 。 

(6) 收集 新 方法 ,提供 过 程 改 进 的 依据 : 此 类 工作 很 难 具 体 定义 在 SQA 的 计划 当中 ， 
但 是 SQA 有 机 会 直接 接触 很 多 项 目 组 ,对 于 项 目 组 在 开发 管理 过 程 中 的 优点 和 缺点 都 能 
准确 地 获得 第 一 手 资料 。 


5. 软件 质量 保证 和 软件 测试 的 联系 


软件 质量 保证 和 软件 测试 是 软件 质量 工程 的 两 个 不 同 层次 的 工作 ,软件 测试 只 是 软件 
质量 保证 工作 的 一 个 重要 环节 。 为 什么 要 这 么 说 呢 ? 首先 让 我 们 来 认识 两 个 新 名 词 : QA 
和 QC。 

质量 保证 (Quality Assurance,QA) 是 要 监控 公司 质量 保证 体系 的 运行 状况 ,审计 项 目 
的 实际 执行 情况 和 公司 规范 之 间 的 差异 ,并 出 具 改进 建议 和 统计 分 析 报告 ,对 公司 的 质量 保 
证 体系 的 质量 负责 。 
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质量 控制 (Quality Control,QC) 是 对 每 个 阶段 或 关键 点 的 产 出 物 进 行 检测 ,评估 产 出 
物 是 否 符合 预计 的 质量 要 求 ,对 产 出 物 的 质量 负责 。QC 有 时 也 被 称 为 质量 检验 或 质量 
检查 。 

SQA 就 是 软件 质量 保证 ,而 SQC 就 是 软件 质量 控制 。 


(1.6 小 结 


计算 机 技术 已 经 越 来 越 广泛 地 应 用 于 经 济 和 国防 建设 的 各 个 部 门 , 以 不 可 阻挡 之 势 渗 
透 到 人 们 工作 和 生活 的 各 个 领域 ,尤其 在 航天 、 核 能 ,通信 和、 交通、 金融 等 一 些 关键 领域 中 计 
算 机 的 作用 更 加 至 关 重 要 。 同 时 ,它们 对 计算 机 软件 的 可 靠 性 和 安全 性 也 有 严格 的 要 求 。 
近年 来 ,由 于 软件 错误 而 造成 经 济 损失 、 导 致 严重 后 果 的 事例 屡见不鲜 ,因此 ,如 何 保证 软件 
产品 的 质量 和 可 靠 性 就 成 为 人 们 必须 解决 的 一 个 重要 问题 ,而 软件 测试 便 是 保证 软件 质量 
的 一 个 重要 手段 。 大 量 统计 资料 表明 ,软件 测试 的 工作 量 往往 占 软件 开发 总 工作 量 的 40% 
以 上 ,因此 ,必须 高 度 重 视 软 件 测试 工作 。 仅 就 测试 而 言 , 它 的 目标 是 发 现 软 件 中 的 错误 ,但 
是 ,发 现 错误 并 不 是 我 们 的 最 终 目的 。 软 件 测试 是 为 了 能 够 保证 开发 出 高 质量 的 完全 符合 
用 户 需 要 的 软件 。 

本 章 概 述 了 软件 测试 的 有 关 概 念 ,方法 和 过 程 等 方面 的 基础 知识 ,使 读者 对 软件 测试 有 
一 个 比较 全 面 的 了 解 ,并 为 进一步 讨论 软件 测试 技术 黄 定 基础 。 


习题 


.软件 缺陷 产生 的 原因 是 什么 ? 

. 简 述 软件 测试 的 定义 和 软件 测试 的 必要 性 。 

. 简 述 软件 测试 与 软件 开发 过 程 的 关系 。 

. 列举 软件 测试 模型 ,并 描述 其 优 缺 点 。 

.什么 是 测试 驱动 开发 ? 这样 的 开发 方式 有 什么 优势 ? 
. 软件 质量 保证 和 软件 测试 的 关系 。 

.如 何 评价 软件 质量 ? 怎样 提高 软件 质量 ? 

.试用 软件 质量 模型 来 评价 一 个 你 熟悉 的 软件 的 质量 。 
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本 章 将 介绍 测试 用 例 的 定义 、 设 计 准 则 和 编写 规范 。 重 点 讲解 设计 测试 用 例 的 两 大 类 
方法 : 黑金 测试 方法 和 白金 测 试 方法 。 

黑 盒 测试 方法 是 软件 测试 技术 中 最 基本 的 方法 ,在 各 测试 阶段 中 都 有 广泛 的 应 用 。 本 
章 重点 学 习 黑 使 测 试 的 基本 概念 和 典型 方法 ,主要 包括 等 价 类 划分 法 .边界 值 分 析 法 、 错 误 
推测 法 、 因 果 图 法 决策 表 法 、 正 交 试验 法 、 功 能 图 法 等 ,通过 具体 实施 策略 和 具体 范例 的 介 
绍 , 使 读者 能 对 这 部 分 内 容 有 较 深 刻 的 理解 ,能 够 在 实际 的 测试 工作 中 灵活 应 用 。 

白金 测试 方法 同样 是 测试 技术 的 最 基本 的 方法 , 它 的 核心 是 针对 被 测试 程序 的 内 部 细 
节 进 行 检查 。 本 章 介 绍 了 白金 测试 的 概念 和 特点 以 及 典型 的 白 鳃 测试 方法 ,主要 包括 逻辑 
覆盖 测试 .基本 路 径 测 试 、 程 序 插 桩 测试 .静态 测试 等 内 容 。 

最 后 对 黑 盒 测试 和 和 白 盒 测试 策略 进行 了 总 结 。 

本 章 要 点 : 

。 测试 用 例 的 定义 和 设计 准则 。 

。 黑金 测试 的 含义 、 优 缺点 。 

。 各 种 典型 的 黑金 测试 方法 。 
黑金 测试 方法 的 使 用 策略 。 
白金 测试 的 定义 、 优 缺点 。 
。 各 种 典型 的 白 盒 测试 方法 。 
。 和 白 盒 测试 方法 的 使 用 策略 。 
。 黑白 盒 测 试 的 综合 使 用 策略 。 


€i 测试 用 例 


2.1.1 测试 用 例 定义 

1. 测试 用 例 的 定义 

测试 用 例 (Test Case) 是 为 某 个 特殊 目标 而 编制 的 一 组 测试 输入 、 执 行 条 件 以 及 预期 结 
果 , 以 便 测试 某 个 程序 路 径 或 核实 程序 是 否 满足 某 个 特定 需求 。 

通常 这 样 来 描述 测试 用 例 : 测试 用 例 指 对 一 项 特定 的 软件 产品 进行 测试 任务 的 描述 ， 
体现 测试 方案 、 方 法 、 技 术 和 策略 。 内 容 包 括 测试 目标 、 测 试 环境 、 输 入 数据 、 测 试 步 骤 、 预 期 
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结果 测试 脚本 等 ,并 形成 文档 。 
2. 测试 用 例 的 意义 


测试 用 例 是 将 软件 测试 的 行为 活动 做 一 个 科学 化 的 组 织 归 纳 。 目 的 是 能 够 将 软件 测试 
的 行为 转化 成 可 管理 的 模式 ,同时 测试 用 例 也 是 将 测试 具体 量化 的 方法 之 一 。 

不 同类 别 的 软件 ,测试 用 例 是 不 同 的 。 要 使 最 终 用 户 对 软件 感到 满意 ,最 有 力 的 举措 就 
是 对 最 终 用 户 的 期 望 加 以 明确 阐述 ,以 便 对 这 些 期 望 进行 核实 并 确认 其 有 效 性 。 测 试用 例 
反映 了 要 核实 的 需求 。 然 而 ,核实 这 些 需求 可 能 通过 不 同 的 方式 并 由 不 同 的 测试 员 来 实施 。 

既然 可 能 无 法 (或 不 必 负 责 ) 核 实 所 有 的 需求 ,那么 是 否 能 为 测试 挑选 最 适合 或 最 关键 
的 需求 则 关系 到 项 目的 成 败 。 选 中 要 核实 的 需求 将 是 对 成 本 、 风 险 和 对 该 需求 进行 核实 的 
必要 性 这 三 者 权衡 考虑 的 结果 。 


3. 测试 用 例 的 重要 性 


测试 用 例 是 软件 测试 的 核心 。 

软件 测试 的 重要 性 是 毋庸 置疑 的 。 但 如 何以 最 少 的 人 力 ,资源 投入 ,在 最 短 的 时 间 内 完 
成 测试 ,发 现 软件 系统 的 缺陷 ,保证 软件 的 优良 品质 , 则 是 软件 公司 探索 和 追求 的 目标 。 每 
个 软件 产品 或 软件 开发 项 目 都 需要 有 一 套 优秀 的 测试 方案 和 测试 方法 。 

影响 软件 测试 的 因素 很 多 ,例如 软件 本 身 的 复杂 程度 .开发 人 员 ( 包 括 分 析 、 设 计 、 编 程 
和 测试 的 人 员 ) 的 素质 测试 方法 和 技术 的 运用 等 。 如 何 保障 软件 测试 质量 的 稳定 ? 有 了 测 
试用 例 , 无 论 是 谁 来 测试 ,参照 测试 用 例 实施 ,都 能 保障 测试 的 质量 。 可 以 把 人 为 因素 的 影 
响 减少 到 最 小 。 即 便 最 初 的 测试 用 例 考虑 不 周全 , 随 着 测试 的 进行 和 软件 版 本 更 新 ,也 将 日 
趋 完善 。 

因此 测试 用 例 的 设计 和 编制 是 软件 测试 中 最 重要 的 活动 。 测 试用 例 是 测试 工作 的 指 
导 , 是 软件 测试 必须 遵守 的 准则 ,更 是 软件 测试 质量 稳定 的 根本 保障 。 

测试 用 例 构 成 了 设计 和 制订 测试 过 程 的 基础 。 测 试 的 “深度 ”与 测试 用 例 的 数量 成 比 
例 。 由 于 每 个 测试 用 例 反映 不 同 的 场景 ,条 件 或 经 由 产品 的 事件 流 , 因 而 , 随 着 测试 用 例 数 
量 的 增加 ,您 对 产品 质量 和 测试 流程 也 就 越 有 信心 。 


2.1.2 测试 用 例 设 计 概述 
1. 编制 测试 用 例 


这 里 着 重 介绍 一 些 编制 测试 用 例 的 具体 做 法 。 

D 测试 用 例文 档 

编写 测试 用 例文 档 应 有 文档 模板 , 须 符合 内 部 的 规范 要 求 。 测 试用 例文 档 将 受制 于 测 
试用 例 管理 软件 的 约束 。 

软件 产品 或 软件 开发 项 目的 测试 用 例 一 般 以 该 产品 的 软件 模块 或 子 系统 为 单位 ,形成 
一 个 测试 用 例文 档 , 但 并 不 是 绝对 的 。 

测试 用 例文 档 由 简介 和 测试 用 例 两 部 分 组 成 。 简 介 部 分 编制 了 测试 目的 ,测试 范围 , 定 
义 术 语 、 参 考 文档 ,概述 等 。 测 试用 例 部 分 逐一 列 示 各 测试 用 例 。 每 个 具体 测试 用 例 都 将 包 
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括 下 列 详细 信息 : 用 例 编号 、 用 例 名称、 测试 等 级 、 入 口 准 则 、 验 证 步骤 、 期 望 结果 ( 含 判 断 标 
准 ) .出口 准则 注释 等 。 以 上 内 容 涵 盖 了 测试 用 例 的 基本 元 素 : 测试 索引 ,测试 环境 ,测试 
输入 ,测试 操作 ,预期 结果 ,评价 标准 。 

2) 测试 用 例 的 设置 

早期 的 测试 用 例 是 按 功能 设置 ,后 来 引进 了 路 径 分 析 法 , 按 路 径 设 置 用 例 。 目 前 演变 为 
按 功能 .路径 混 合 模式 设置 用 例 。 按 功能 测试 是 最 简捷 的 , 即 按 用 例 规约 遍历 测试 每 一 
功能 。 

对 于 操作 复杂 的 程序 模块 ,其 各 功能 的 实施 是 相互 影响 .紧密 相关 、 环 环 相 扣 的 ,可 以 演 
变 出 数量 繁多 的 变化 。 如 果 没 有 严密 的 逻辑 分 析 ,产生 遗漏 是 在 所 难免 的 。 路 径 分 析 是 一 
个 很 好 的 方法 ,其 最 大 的 优点 在 于 可 以 避免 漏 测试 。 

3) 设计 测试 用 例 

测试 用 例 可 以 分 为 基本 事件 、 备 选 事 件 和 异常 事件 。 设 计 基 本 事件 的 用 例 , 应 该 参照 用 
例 规约 (或 设计 规格 说 明 书 ) ,根据 关联 的 功能 ,操作 按 路 径 分 析 法 设计 测试 用 例 。 而 对 孤立 
的 功能 则 直接 按 功 能 设计 测试 用 例 。 基 本 事件 的 测试 用 例 应 包含 所 有 需要 实现 的 需求 功 
能 ,覆盖 率 达 10094, 

设计 备 选 事件 和 异常 事件 的 用 例 , 则 要 复杂 和 困难 得 多 。 例 如 ,字典 的 代码 是 唯一 的 ， 
不 允许 重复 。 测 试 需要 验证 : 字典 新 增 程 序 中 已 存在 有 关 字典 代码 的 约束 ,车 出 现代 码 重 
复 , 必 须 报 错 ,并 且 要 求 报错 文字 正确 。 在 设计 编码 阶段 形成 的 文档 往往 对 备 选 事件 和 异常 
事件 分 析 描 述 不 够 详尽 。 而 测试 本 身 则 要 求 验 证 全 部 非 基 本 事件 ,同时 尽量 发 现 其 中 的 软 
件 缺 陷 。 

可 以 采用 软件 测试 常用 的 基本 方法 : 等 价 类 划分 法 、 边 界 值 分 析 法 、 错 误 推 测 法 、 因 果 
图 法 .逻辑 覆盖 法 等 设计 测试 用 例 。 视 软件 的 不 同性 质 采 用 不 同 的 方法 。 如 何 灵活 运用 各 
种 基本 方法 来 设计 完整 的 测试 用 例 ,并 最 终 暴 露 隐藏 的 缺陷 ,全 凭 测试 设计 人 员 的 丰富 经 验 
和 精心 设计 。 


2. 测试 用 例 在 软件 测试 中 的 作用 


1) 指导 测试 的 实施 

测试 用 例 主 要 适用 于 集成 测试 ,系统 测试 和 回归 测试 。 在 实施 测试 时 测试 用 例 作 为 测 
试 的 标准 ,测试 人 员 一 定 要 按照 测试 用 例 严 格 按 用 例 项 目 和 测试 步骤 逐一 实施 测试 。 并 将 
测试 情况 记录 在 测试 用 例 管理 软件 中 ,以 便 自动 生成 测试 结果 文档 。 

根据 测试 用 例 的 测试 等 级 ,集成 测试 应 测试 哪些 用 例 ,系统 测试 和 回归 测试 又 该 测试 哪 
些 用 例 , 在 设计 测试 用 例 时 都 已 做 明确 规定 ,实施 测试 时 测试 人 员 不 能 随意 做 变动 。 

在 我 们 的 实践 中 测试 数据 是 与 测试 用 例 分 离 的 。 按 照 测 试用 例 配 套 准备 一 组 或 若干 组 
测试 原始 数据 以 及 标准 测试 结果 。 尤 其 像 测试 报表 之 类 数据 集 的 正确 性 ,按照 测试 用 例 规 
划 准 备 测试 数据 是 十 分 必要 的 。 

除 正常 数据 之 外 ,还 必须 根据 测试 用 例 设 计 大 量 边缘 数据 和 错误 数据 。 

2) 编写 测试 脚本 的 “设计 规格 说 明 书 ” 

为 提高 测试 效率 ,软件 测试 已 大 力 发 展 自动 测试 。 自 动 测试 的 中 心 任务 是 编写 测试 脚 
本 。 如 果 说 软件 工程 中 软件 编程 必须 有 设计 规格 说 明 书 ,那么 测试 脚本 的 设计 规格 说 明 书 
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就 是 测试 用 例 。 

3) 评估 测试 结果 的 度量 基准 

完成 测试 实施 后 需要 对 测试 结果 进行 评估 ,并 且 编 制 测试 报告 。 判 断 软件 测试 是 否 完 
成 .衡量 测试 质量 需要 一 些 量化 的 结果 。 例 如 测试 覆盖 率 是 多 少 、 测 试 合格 率 是 多 少 、 重 要 
测试 合格 率 是 多 少 等 。 以 前 的 统计 基准 是 软件 模块 或 功能 点 ,显得 过 于 粗糙 。 采 用 测试 用 
例 做 度量 基准 更 加 准确 ,有 效 。 

4) 分 析 缺 陷 的 标准 

通过 收集 缺陷 ,对 比 测试 用 例 和 缺陷 数据 库 , 分 析 确 认 是 漏 测 还 是 缺陷 复 现 。 漏 测 反 映 
了 测试 用 例 的 不 完善 ,应 立即 补充 相应 测试 用 例 , 最 终 达 到 逐步 完善 软件 质量 的 目的 。 而 已 
有 相应 测试 用 例 , 则 反映 实施 测试 或 变更 处 理 存在 问题 。 


3. 相关 问题 


1) 测试 用 例 的 评审 

测试 用 例 是 软件 测试 的 准则 ,但 它 并 不 是 一 经 编制 完成 就 成 为 准则 。 测 试用 例 在 设计 
编制 过 程 中 要 组 织 同 级 互 查 。 完 成 编制 后 应 组 织 专家 评审 , 需 获 得 通过 才 可 以 使 用 。 评 审 
委员 会 可 由 项 目 负责 人 、 测 试 、 编 程 .分 析 设 计 等 有 关 人 员 组 成 ,也 可 邀请 客户 代表 参加 。 

2) 测试 用 例 的 修改 更 新 

测试 用 例 在 形成 文档 后 也 还 需要 不 断 完善 。 主 要 来 自 三 方面 的 缘故 : 第 一 ,在 测试 过 
程 中 发 现 设计 测试 用 例 时 考虑 不 周 , 需 要 完善 ; 第 二 ,在 软件 交付 使 用 后 反馈 的 软件 缺陷 ， 
而 缺陷 又 是 因 测 试用 例 存在 漏洞 造成 ; 第 三 ,软件 自身 的 新 增 功能 以 及 软件 版 本 的 更 新 , 测 
试用 例 也 必须 配套 修改 更 新 。 

一 般 小 的 修改 完善 可 在 原 测试 用 例文 档 上 修改 ,但 文档 要 有 更 改 记录 。 软 件 的 版 本 升 
级 更 新 ,测试 用 例 一 般 也 应 随 之 编制 升级 更 新 版 本 。 

3) 测试 用 例 的 管理 软件 

运用 测试 用 例 还 需 配 备 测 试用 例 管理 软件 。 它 的 主要 功能 有 三 个 : 第 一 ,能 将 测试 用 
例文 档 的 关键 内 容 , 如 编号 .名称 等 自动 导入 管理 数据 库 , 形 成 与 测试 用 例文 档 完全 对 应 的 
记录 ; 第 二 ,可 供 测 试 实施 时 及 时 输入 测试 情况 ; 第 三 ,最 终 实 现 自动 生成 测试 结果 文档 ， 
包含 各 测试 度量 值 ,测试 覆盖 表 和 测试 通过 或 不 通过 的 测试 用 例 清单 列表 。 

有 了 管理 软件 ,测试 人 员 无 论 是 编写 每 日 的 测试 工作 日 志 、 还 是 出 软件 测试 报告 ,都 会 
变 得 轻而易举 。 


2.1.3 测试 用 例 编写 规范 
1. 测试 用 例 编写 准备 


从 配置 管理 员 处 申请 软件 配置 :《 需 求 规格 说 明 书 》 和 《设计 说 明 书 》; 根据 需求 规格 说 
明 书 和 设计 说 明 书 ,详细 理解 用 户 的 真正 需求 ,并 且 对 软件 所 实现 的 功能 已 经 准确 理解 , 然 
后 着 手 制订 测试 用 例 。 


2. 测试 用 例 制订 的 原则 
测试 用 例 要 包括 欲 测试 的 功能 、 应 输入 的 数据 和 预期 的 输出 结果 。 测 试 数据 应 该 选用 
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少量 ,高效 的 测试 数据 进行 尽 可 能 完备 的 测试 。 基 本 目标 是 : 设计 一 组 发 现 某 个 错误 或 某 
类 错误 的 测试 数据 ,测试 用 例 应 覆盖 的 方面 包括 : 

(1) 正确 性 测试 : 输入 用 户 实际 数据 以 验证 系统 是 满足 需求 规格 说 明 书 的 要 求 ; 测试 
用 例 中 的 测试 点 应 首先 保证 要 至 少 覆 盖 需 求 规格 说 明 书 中 的 各 项 功能 ,并 且 正 常 。 

(2) 容错 性 (健壮 性 ) 测 试 : 程序 能 够 接收 正确 数据 输入 并 且 产 生 正 确 ( 预 期 ) 的 输出 ， 
输入 非法 数据 (非法 类 型 .不 符合 要 求 的 数据 、 溢 出 数据 等 ) 时 ,程序 应 能 给 出 提示 并 进行 相 
应 处 理 。 把 自己 想象 成 一 名 对 产品 操作 一 点 也 不 懂 的 客户 ,再 进行 任意 操作 。 

(3) 完整 (安全 ) 性 测试 : 指 对 未 经 授权 的 人 使 用 软件 系统 或 数据 的 企图 ,系统 能 够 控 
制 的 程度 ,程序 的 数据 处 理 能 够 保持 外 部 信息 (数据 库 或 文件 ) 的 完整 。 

(4) 接口 间 测 试 : 测试 各 个 模块 相互 间 的 协调 和 通信 情况 ,数据 输入 输出 的 一 致 性 和 
正确 性 。 

(5) 数据 库 测试 : 依据 数据 库 设 计 规范 对 软件 系统 的 数据 库 结 构 、 数 据 表 及 其 之 间 的 
数据 调用 关系 进行 测试 。 

(6) 边界 值 分 析 法 : 确定 边界 情况 (刚好 等 于 、 稍 小 于 和 稍 大 于 和 刚刚 大 于 等 价 类 边界 
值 ), 针 对 我 们 的 系统 在 测试 过 程 中 输入 的 一 些 合法 数据 /非法 数据 ,主要 在 边界 值 附 近 选 取 。 

(7) 压力 测试 : 输入 10 条 记录 运行 各 个 功能 ,输入 30 条 记录 运行 ,输入 50 条 记录 运行 
进行 测试 。 

(8) 等 价 划分 ; 将 所 有 可 能 的 输入 数据 (有 效 的 和 无 效 的 ) 划 分 成 若干 个 等 价 类 。 

(9) 错误 推测 主要 是 根据 测试 经 验 和 直觉 ,参照 以 往 的 软件 系统 出 现 错误 之 处 。 

(100 效率 : 完成 预定 的 功能 ,系统 的 运行 时 间 ( 主 要 是 针对 数据 库 而 言 ) 。 

(11) 可 理解 (操作 ) 性 : 理解 和 使 用 该 系统 的 难 易 程度 (界面 友好 性 ) 。 

(12) 可 移植 性 : 在 不 同 操作 系统 及 硬件 配置 情况 下 的 运行 性 。 

(13) 回归 测试 : 按照 测试 用 例 将 所 有 的 测试 点 测试 完毕 ,测试 中 发 现 的 问题 开发 人 员 
已 经 解决 ,进行 下 一 轮 的 测试 。 

(14) 比较 测试 : 将 已 经 发 布 的 类 似 产品 或 原 有 的 老 产 品 与 测试 的 产品 同时 运行 比较 ， 
或 与 已 往 的 测试 结果 比较 。 

说 明 : 针对 不 同 的 测试 类 型 和 测试 阶段 ,测试 用 例 编写 的 侧重 点 有 所 不 同 。 

(1) 其 中 第 1.2、6、8、9、13 项 为 模块 (组 件 \ 控 件 ) 测 试 、 组 合 ( 集 成 ) 测 试 、 系 统 测试 都 涉 
及 重点 测试 的 方面 。 

(2) 单元 (模块 ) 测 试 (组 件 、 控 件 ) 测 试 : 重点 测试 第 1 项 。 

CD 组 合 (集成 ) 测 试 : 重点 进行 接口 间 数据 输入 及 逻辑 的 测试 , 即 第 4 项 。 

(4) 系统 测试 : 重点 测试 第 3、7、10、11、12、14 Ji 

(5) 其 中 压力 测试 和 可 移植 性 测试 如 果 是 公司 的 系列 产品 ,可 以 选用 其 中 有 代表 性 的 
产品 进行 一 次 代表 性 测试 即 可 。 

(6) 对 于 每 个 测试 项 目测 试 的 测试 用 例 不 是 一 成 不 变 的 , 随 着 测试 经 验 的 积累 或 在 测 
试 其 他 项 目 发 现 有 测试 不 充分 的 测试 点 时 ,可 以 不 断 地 补充 完善 测试 项 目的 测试 用 例 。 


3. 常用 测试 用 例 组 成 元 素 
1) 用 例 ID 
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2) 用 例 名 称 
3) 测试 目的 
4) 测试 级 别 
5) 程序 参考 信息 
6) 测试 环境 
7) 输入 数据 
8) 测试 步骤 
9) 预期 结果 
10) 设计 人 员 


ap 黑 盒 测试 概述 


2.2.1 黑 盒 测试 的 概念 


黑 盒 测试 也 称 功 能 测试 或 数据 驱动 测试 , 它 通 过 测试 来 检测 每 个 功能 是 否 都 能 正常 使 
用 。 在 测试 时 ,把 程序 看 作 一 个 不 能 打开 的 黑 盒子 ,在 完全 不 考虑 程序 内 部 结构 和 内 部 特性 
的 情况 下 ,对 程序 接口 进行 测试 , 它 只 检查 程序 功能 是 否 按照 需求 规格 说 明 书 的 规定 正常 使 
用 ,程序 是 否 能 适当 地 接收 输入 数据 而 产生 预期 的 输出 信息 。 黑 盒 测 试 着 眼 于 程序 外 部 结 
构 , 不 考虑 内 部 逻辑 结构 ,主要 针对 软件 界面 和 软件 功能 进行 测试 。 

黑 盒 测 试 法 注重 于 测试 软件 的 功能 需求 ,主要 试图 发 现下 列 几 类 错误 。 

。 功能 不 正确 或 遗漏 。 

，。， 界面 错误 。 

* 数据 库 访问 错误 。 

* 性 能 错误 。 

"初始 化 和 终止 错误 等 。 

黑 盒 测试 不 破坏 被 测 对 象 的 数据 信息 。 

黑 盒 测试 是 以 用 户 的 角度 ,从 输入 数据 与 输出 数据 的 对 应 关系 出 发 进行 测试 的 。 很 明 
显 ,如 果 外 部 特性 本 身 有 问题 或 规格 说 明 的 规定 有 误 , 用 黑 盒 测 试 方法 是 发 现 不 了 错误 的 。 

黑 盒 测试 的 实施 流程 主要 包括 以 下 几 个 步骤 : 


1. 测试 计划 


首先 ,根据 用 户 需求 报告 中 关于 功能 要 求 和 性 能 指标 的 规格 说 明 书 ,定义 相应 的 测试 需 
求 报告 , 即 制订 黑 盒 测 试 的 最 高 标准 ,以 后 所 有 的 测试 工作 都 将 围绕 着 测试 需求 来 进行 , 符 
合 测试 需求 的 应 用 程序 即 是 合格 的 ,反之 即 是 不 合格 的 ; 同时 ,还 要 适当 选择 测试 内 容 , 合 
理 安排 测试 人 员 测试 时 间 及 测试 资源 等 。 
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2. 测试 设计 


将 测试 计划 阶段 制订 的 测试 需求 分 解 、 细 化 为 若干 个 可 执行 的 测试 过 程 , 并 为 每 个 测试 
过 程 选 择 适当 的 测试 用 例 ( 测 试用 例 选择 的 好 坏 将 直接 影响 到 测试 结果 的 有 效 性 ) 。 


3. 测试 开发 
建立 可 重复 使 用 的 自动 测试 过 程 。 
4. 测试 执行 


执行 测试 开发 阶段 建立 的 自动 测试 过 程 , 并 对 所 发 现 的 缺陷 进行 跟踪 管理 。 测 试 执行 
一 般 由 单元 测试 组合 测 试 . 集 成 测试 ,系统 联 调 及 回归 测试 等 步骤 组 成 ,测试 人 员 应 本 着 科 
学 负责 的 态度 ,一步 一 个 脚印 地 进行 测试 。 


5. 测试 评估 


结合 量化 的 测试 覆盖 域 及 缺陷 跟踪 报告 ,对 于 应 用 软件 的 质量 和 开发 团队 的 工作 进度 
及 工作 效率 进行 综合 评价 。 


2.2.2 黑 盒 测试 用 例 设计 方法 


从 理论 上 讲 , 黑 盒 测 试 只 有 采用 穷 举 输入 测试 ,把 所 有 可 能 的 输入 都 作为 测试 情况 考 
虑 ,才能 查 出 程序 中 所 有 的 错误 。 实 际 上 测试 情况 有 无 穷 多 个 ,人 们 不 仅 要 测试 所 有 的 输 
入 ,而 且 还 要 对 那些 不 合法 但 可 能 的 输入 进行 测试 。 这 样 看 来 ,完全 测试 是 不 可 能 的 ,所 以 
我 们 要 进行 有 针对 性 的 测试 ,通过 制订 测试 案例 指导 测试 的 实施 ,保证 软件 测试 有 组 织 、 按 
步骤 ,以 及 有 计划 地 进行 。 黑 盒 测试 行为 必须 能 够 加 以 量化 ,才能 真正 保证 软件 质量 ,而 测 
试用 例 就 是 将 测试 行为 具体 量化 的 方法 之 一 。 具 体 的 黑 盒 测 试用 例 设计 方法 包括 等 价 类 划 
分 法 ,边界 值 分 析 法 .错误 推测 法 .因果 图 法 .判定 表 法 、 正 交 试验 设计 法 ,功能 图 法 等 。 

下 节 将 就 这 些 测试 方法 进行 介绍 和 讨论 ,并 给 出 几 个 运用 实例 。 


0.3 典型 黑 盒 测试 方法 
ess 


2.3.1 等 价 类 划分 方法 
1. 方法 简介 


等 价 类 是 指 输入 域 的 某 个 子 集合 ,在 该 子 集合 中 ,各 个 输入 数据 对 于 揭露 程序 中 的 错误 
都 是 等 效 的 ,并 做 合理 假定 ,测试 某 等 价 类 的 代表 值 就 等 效 于 对 这 一 类 其 他 数据 的 测试 。 因 
此 ,可 以 把 全 部 输入 数据 合理 划分 成 若干 等 价 类 ,在 每 个 等 价 类 中 取 少 数 典型 数据 作为 测试 
用 例 。 这 样 就 可 以 用 少量 代表 性 数据 取得 完备 的 测试 结果 。 

等 价 类 划分 有 两 种 不 同 的 情况 : 有 效 等 价 类 和 无 效 等 价 类 。 

1) 有 效 等 价 类 

有 效 等 价 类 是 指 对 于 程序 的 规格 说 明 来 说 是 合理 的 .有 意义 的 输入 数据 构成 的 集合 。 
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利用 有 效 等 价 类 可 检验 程序 是 否 实现 了 规格 说 明 中 所 规定 的 功能 和 性 能 。 

2) 无 效 等 价 类 

与 有 效 等 价 类 的 定义 恰巧 相反 。 无 效 等 价 类 指 对 程序 的 规格 说 明 是 不 合理 的 或 无 意义 
的 输入 数据 所 构成 的 集合 。 对 于 具体 的 问题 ,无 效 等 价 类 至 少 应 有 一 个 ,也 可 能 有 多 个 。 

设计 测试 用 例 时 ,要 同时 考虑 这 两 种 等 价 类 。 因 为 软件 不 仅 要 能 接收 合理 的 数据 ,也 要 
能 经 受 意外 的 考验 ,这 样 的 测试 才能 确保 软件 具有 更 高 的 可 靠 性 。 

在 进行 等 价 类 划分 之 前 ,需要 先 从 程序 的 功能 说 明 书 中 找 出 各 个 输入 条 件 , 为 每 个 输入 
条 件 划 分 等 价 类 ,形成 若干 互 不 相交 的 子 集 。 等 价 类 的 划分 要 以 完备 性 和 无 元 余 性 为 标准 。 
完备 性 是 指 所 有 等 价 类 要 完整 覆盖 整个 输入 域 ; 无 元 余 性 是 指 等 价 类 之 间 无 交叉 , 互 不 相交 。 

比如 一 个 程序 的 输入 数据 满足 0 二 x 二 100 的 整数 为 有 效 数据 ,其 他 整数 为 无 效 数据 ， 
那么 就 可 以 划分 成 两 个 等 价 类 ,一 个 是 有 效 数据 的 等 价 类 , 另 一 个 是 无 效 数据 的 等 价 类 。 设 
计 测 试用 例 时 就 可 以 从 这 两 个 等 价 类 中 分 别 取 一 个 输入 数据 来 得 到 两 个 测试 用 例 。 有 效 数 
据 的 等 价 类 为 1 一 99 ,所 以 可 以 从 1 一 99 中 任意 取 一 个 数 作为 输入 数据 来 得 到 一 个 测试 用 
例 , 从 z 不 等 于 1 一 99 中 的 数据 中 任意 取 一 个 数据 作为 输入 数据 得 到 另 一 个 测试 用 例 。 

1 一 99 中 的 任 一 数据 和 其 他 数据 都 是 等 价 的 ,比如 使 用 2 来 进行 测试 ,那么 可 以 假定 数 
di 2 测试 通过 的 话 ,1 一 99 中 的 其 他 数据 也 能 测试 通过 。 

等 价 类 划分 法 可 以 用 来 对 一 些 不 能 穷 举 的 集合 进行 合理 分 类 ,从 各 个 等 价 类 中 选 出 有 
代表 性 的 数据 进行 测试 ,从 而 保证 设计 出 来 的 设计 用 例 具有 一 定 的 代表 性 和 一 定 范围 内 的 
完整 性 ,有 效 地 缩减 测试 用 例 的 数量 。 


2. 等 价 类 的 划分 原则 和 步骤 


在 采用 等 价 类 划分 方法 进行 测试 用 例 的 设计 时 ,必须 首先 在 分 析 需 求 规格 说 明 的 基础 
上 划分 等 价 类 , 列 出 等 价 类 表 , 然 后 才能 确定 等 价 类 对 应 的 测试 用 例 。 如 何 确定 等 价 类 是 使 
用 等 价 类 划分 法 过 程 中 的 重要 问题 ,划分 原则 如 下 : 

(1) 如 果 规定 了 输入 条 件 的 取 值 范围 或 者 个 数 , 则 可 以 确定 一 个 有 效 等 价 类 和 两 个 无 
效 等 价 类 。 例 如 ,程序 要 求 输入 的 数值 是 从 10 到 20 之 间 的 整数 , 则 有 效 等 价 类 为 “大 于 等 
于 10 而 小 于 等 于 20 的 整数 ”, 两 个 无 效 等 价 类 为 “小 于 10 的 整数 ”和 “大 于 20 的 整数 ”。 

(2) 如 果 规 定 了 输入 值 的 集合 , 则 可 以 确定 一 个 有 效 等 价 类 和 一 个 无 效 等 价 类 。 例 如 , 程 
序 要 进行 平方 根 运 算 , 则 “大 于 等 于 0 的 数 ” 为 有 效 等 价 类 ,“ 小 于 0 的 整数 ”为 无 效 等 价 类 。 

(3) 如 果 规 定 了 输入 数据 的 一 组 值 ,并且 程序 要 求 对 每 一 个 输入 值 分 别 进行 处 理 , 则 可 
以 为 每 一 个 输入 值 确定 一 个 有 效 等 价 类 ,此 外 根据 这 组 值 确定 一 个 无 效 等 价 类 , 即 所 有 不 允 
许 的 输入 值 的 集合 。 例 如 ,程序 规定 某 个 输入 条 件 z 的 取 值 只 能 为 集合 {1,3,5,7} 中 的 某 
一 个 , 则 有 效 等 价 类 为 —1.2—3.0—5.2— 7. ERO 4 个 数值 分 别 进行 处 理 ; 无 效 等 价 
类 为 x 不 等 于 1,3,5,7 的 值 的 集合 。 

(4) 如 果 规 定 了 输入 数据 必须 遵守 的 规则 , 则 可 以 确定 一 个 有 效 等 价 类 和 若干 个 无 效 
等 价 类 。 例 如 ,程序 中 某 个 输入 条 件 规定 输入 数据 必须 为 4 位 数字 , 则 可 以 划分 一 个 有 效 等 
价 类 为 输入 数据 为 4 位 数字 ,3 个 无 效 等 价 类 分 别 为 输入 数据 中 含有 非 数字 字符 .输入 数据 
少 于 4 位 数字 、 输 入 数据 多 于 4 位 数字 。 

(5) 如 果 已 知 的 等 价 类 中 各 个 元 素 在 程序 中 的 处 理 方式 不 同 , 则 应 将 等 价 类 进一步 划 
分 成 更 小 的 等 价 类 。 
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在 确立 了 等 价 类 之 后 ,就 可 以 建立 等 价 类 表 , 列 出 所 有 划分 的 等 价 类 ,如 表 2-1 所 示 。 
表 2-1 等 价 类 表示 例 
输入 条 件 有 效 等 价 类 无 效 等 价 类 


再 根据 列 出 的 等 价 类 表 , 按 以 下 步骤 确定 测试 用 例 : 

(1) 为 每 一 个 等 价 类 规定 一 个 唯一 的 编号 。 

(2) 设计 一 个 新 的 测试 用 例 , 使 其 尽 可 能 多 地 覆盖 未 被 覆盖 的 有 效 等 价 类 ,重复 这 个 过 
程 ,直到 所 有 的 有 效 等 价 类 均 被 测试 用 例 所 覆盖 。 

G) 设计 一 个 新 的 测试 用 例 ,使 其 覆盖 一 个 无 效 的 等 价 类 ,重复 这 个 过 程 ,直至 所 有 的 
无 效 等 价 类 均 被 测试 用 例 所 覆盖 。 

等 价 类 划分 通过 识别 许多 相等 的 条 件 , 极 大 地 降低 了 要 测试 的 输入 条 件 的 数据 ,但 这 种 
方式 不 能 测试 输入 条 件 组 合 的 情况 。 


3. 等 价 类 的 判定 方法 


最 容易 判定 一 个 子 集 是 否 是 等 价 类 的 方法 就 是 路 径 判 定 法 ,路径 判定 法 的 基本 思想 是 : 
对 于 子 集中 的 任 一 数据 ,如 果 执 行路 径 并 不 完全 相同 ,那么 这 个 子 集 不 是 等 价 类 。 

需要 注意 的 是 ,路 径 判 定 法 的 反 命题 并 不 成 立 , 即 不 能 由 执行 路 径 相同 就 推断 出 子 集中 
的 数据 是 等 价 类 。 因 为 执行 路 径 相同 情况 下 得 到 的 结果 不 一 定 相 同 , 举 例如 下 ; 

int mul(int a){ 

return (a * 10000); 

) 

在 mul() 函 数 中 ,不 论 a 输 入 多 少 , 执 行路 径 都 只 有 一 条 ,但 是 当 a 的 值 过 大 时 ,会 出 现 
整数 乘法 溢出 ,显然 不 能 将 a 的 任意 取 值 都 作为 等 价 类 。 

路 径 相 同 之 所 以 不 能 认为 是 等 价 类 的 根本 原因 在 于 程序 设计 中 本 身 可 能 存在 缺陷 和 遗 
漏 ,设计 或 编码 后 的 程序 中 的 路 径 本 身 就 可 能 不 正确 ,测试 用 例 设计 时 不 能 假定 程序 中 的 路 
径 一 定 是 正确 的 。 


4. 等 价 类 划分 测试 实例 


【实例 2-1】 三 角形 问题 

三 角形 类 型 判别 程序 规定 :“ 输 入 三 个 整数 abc 分 别 作为 三 边 的 边 长 构成 三 角形 。 
通过 程序 判定 所 构成 的 三 角形 的 类 型 *。 用 等 价 类 划分 方法 为 该 程序 进行 测试 用 例 设计 (三 
角形 问题 的 复杂 之 处 在 于 输入 与 输出 之 间 的 关系 比较 复杂 ) 。 

分 析 题 目 中 给 出 上 的 和 隐 含 的 对 输入 条 件 的 要 求 : 

CD 3 OD — 1C) 4E 2E CD 1E C 

@ 两 边 之 和 大 于 第 三 边 @ 等 腰 @ 等 边 

MÈ abc 满足 条 件 中 一 @, 则 输出 下 列 4 种 情况 之 一 : 

CD. 如 果 不 满足 条 件 @, 则 程序 输出 为 " 非 三 角形 ”。 
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ARE 


(2) 如 果 三 条 边 相等 , 即 满足 条 件 〇 , 则 程序 输出 为 “等 边 三 角形 ”。 
G) 如 果 只 有 两 条 边 相等 , 即 满足 条 件 @, 则 程序 输出 为 “等 腰 三 角形 ”。 
(4) 如 果 三 条 边 都 不 相等 , 则 程序 输出 为 “一 般 三 角形 ”。 
列 出 等 价 类 表 并 编号 ,如 表 2-2 所 示 。 
表 2-2 三 角形 等 价 类 表 
有 效 等 价 类 号 码 无 效 等 价 类 


a 为 非 整 数 


一 边 为 非 整数 | 2 为 非 整数 


< 为 非 整数 


整数 1 ab HIERZ 


两 边 为 非 整数 | bc 为 非 整数 


c.a 为 非 整数 


三 边 均 为 非 整 数 


只 给 a 


只 给 一 边 只 给 5 


只 给 < 


EXE 2 只 给 ab 


只 给 两 边 只 给 be 


输入 三 个 Re 


给 出 三 个 以 上 


整数 a 为 0 


一 边 为 零 bo 


< 为 0 


非 零 数 3 ab HO 


两 边 为 零 bc 为 0 


c.a 0 


三 边 abc 均 为 0 


a<0 


一 边 <0 b<0 


c<0 


正 数 4 a<0 H b<0 


P< b<0 H co 


c<0 H aco 


三 边 均 <0 


FRES 


a+b<c 


a+b=c 


构成 一 般 b+c<a 


三 角形 b+c=a 


cta<b 


cta-b 


构成 等 腰 


三 角形 zx 


c=a 三 10 
构成 等 边 


三 角形 amme 11 
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覆盖 有 效 等 价 类 的 测试 用 例 , 如 表 2-3 所 示 。 
R23 覆盖 有 效 等 价 类 的 测试 用 例 表 


a b ê 覆盖 等 价 类 号 码 
3 4 5 1~7 
4 4 5 1~7,8 
4 5 5 1 一 7,9 
5 4 5 1 一 7,10 
4 4 4 1~7,11 
覆盖 无 效 等 价 类 的 测试 用 例 , 如 表 2-4 所 示 。 
表 2-4 覆盖 无 效 等 价 类 的 测试 用 例 表 
a b c 覆盖 等 价 类 编号 a b c 覆盖 等 价 类 编号 
2:5 4 5 12 0 0 5 29 
3 4.5 5 13 3 0 0 30 
3 4 5.5 14 0 4 0 31 
3.5 4.5 5 15 0 0 0 32 
3 4.5 5.5 16 一 3 4 5 33 
3.5 4 5.5 17 3 = 5 34 
4.5 4.5 5.5 18 3 4 —5 35 
3 19 一 3 一 4 5 36 
4 20 一 3 4 一 5 37 
5 21 3 一 4 =$ 38 
3 4 22 —-3 一 4 =$ 39 
4 5 23 3 5 40 
3 5 24 3 2 5 41 
3 4 5 25 3 1 b 42 
0 4 5 26 3 2 1 43 
3 0 5 27 4 2 44 
3 4 0 28 3 4 1 45 


2.3.2 边界 值 分 析 法 
1. 边界 值 分 析 法 概要 


边界 值 分 析 法 就 是 对 输入 或 输出 的 边界 值 进行 测试 的 一 种 黑 盒 测 试 方法 。 通 常 边界 值 
分 析 法 是 对 等 价 类 划分 法 的 补充 ,这 种 情况 下 ,其 测试 用 例 来 自 等 价 类 的 边界 。 长 期 的 测试 
实践 表明 ,大 量 的 错误 发 生 在 输入 或 输出 范围 的 边界 上 ,而 不 是 发 生 在 输入 输出 范围 的 内 
部 ,因此 ,针对 边界 情况 设计 测试 用 例 , 可 以 查 出 更 多 的 错误 。 

使 用 边界 值 分 析 方 法 设计 测试 用 例 ,首先 应 确定 边界 情况 。 通 常 输入 输出 等 价 类 的 边 
界 就 是 应 着 重 测试 的 边界 情况 ,应 选取 正好 等 于 ,刚刚 大 于 和 刚刚 小 于 边界 的 值 作为 测试 数 
据 , 而 不 是 选取 等 价 类 中 的 典型 值 作 为 测试 数据 。 但 在 边界 情况 复杂 时 ,要 找 出 适当 的 边界 


34 


x 


软件 测试 实践 教程 


测试 用 例 还 需要 针对 问题 的 输入 域 和 输出 域 边界 耐心 细致 地 逐个 进行 考察 。 

基于 边界 值 分 析 方法 选择 测试 用 例 的 原则 如 下 : 

(1) 如 果 输 入 条 件 规定 了 值 的 范围 , 则 应 取 刚 达到 这 个 范围 的 边界 的 值 以 及 刚刚 超越 
这 个 范围 边界 的 值 作为 测试 输入 数据 。 

例如 ,如 果 程 序 的 规格 说 明 中 规定 :“ 重 量 在 10 千克 至 50 千克 范围 内 的 邮件 ,其 邮费 计 
算 公式 为 ……”。 作 为 测试 用 例 , 我 们 应 取 10 及 50, 还 应 取 10.01,49. 99,9.99 及 50.01 等 。 

(2) 如 果 输 入 条 件 规定 了 值 的 个 数 , 则 用 最 大 个 数 , 最 小 个 数 , 比 最 小 个 数 少 一 , 比 最 大 
个 数 多 一 的 数 作为 测试 数据 。 

比如 ,一 个 输入 文件 应 包括 1 一 255 个 记录 , 则 测试 用 例 可 取 1 和 255, 还 应 取 0 及 
256 等 。 

(3) 将 规则 (1) 和 (2) 应 用 于 输出 条 件 , 即 设计 测试 用 例 使 输出 值 达 到 边界 值 及 其 左右 
的 值 。 

例如 , 某 程序 的 规格 说 明 要 求 计算 出 “每 月 保险 金 扣 除 额 为 0 至 1165. 25 元 ”, 其 测试 用 
例 可 取 0. 00 及 1165. 24、 还 可 取 一 0.01 及 1165. 26 等 。 

青 如 一 程序 属于 情报 检索 系统 ,要 求 每 次 最少 显示 1 条 、 最 多 显示 4 条 情报 摘要 ”, 这 
时 我 们 应 考虑 的 测试 用 例 包括 1 和 4, 还 应 包括 0 和 5 等 。 

(4) 如 果 程 序 的 规格 说 明 给 出 的 输入 域 或 输出 域 是 有 序 集合 , 则 应 选取 集合 的 第 一 个 
元 素 和 最 后 一 个 元 素 作 为 测试 用 例 。 

(5) 如 果 程 序 中 使 用 了 一 个 内 部 数据 结构 , 则 应 当选 择 这 个 内 部 数据 结构 的 边界 上 的 
值 作为 测试 用 例 。 

(6) 分 析 规 格 说 明 , 找 出 其 他 可 能 的 边界 条 件 。 


2. 边界 值 分 析 实 例 


【实例 2-2】 标准 化 阅卷 程序 。 

现 有 一 个 学 生 标准 化 考试 批阅 试卷 .产生 成 绩 报告 的 程序 。 其 规格 说 明 如 下 : 程序 的 
输入 文件 由 一 些 有 80 个 字符 的 记录 组 成 ,如 图 2-1 所 示 , 所 有 记录 分 为 3 组 。 

CD 标题 : 这 一 组 只 有 一 个 记录 ,其 内 容 为 输出 成 绩 报 告 的 名 字 。 


(试题 部 分 ) 
标题 

Į 80 
试题 数 标准 答案 (1~50 题 ) 2 

1 34 910 59 60 79 80 
试题 数 标准 答案 (51~100 题 ) 2 

1 34 910 59 60 79 80 
(学 生 答卷 部 分 ) 
学 号 1 学 生 答 案 (1~50 题 ) 3 

1 9 10 59 60 79 80 
学 号 1 学 生 答案 (51~100 题 ) 3 

1 9 10 e 59 60 79 80 


图 2-1 记录 结构 图 
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(2) 试卷 各 题 标准 答案 记录 : 每 个 记录 均 在 第 80 个 字符 处 标 以 数字 “2”。 该 组 的 第 一 
个 记录 的 第 1 一 3 个 字符 为 题目 编号 ( 取 值 为 1 一 999) 。 第 10 一 59 个 字符 给 出 第 1 一 50 E 
的 答案 (每 个 合法 字符 表示 一 个 答案 ) 。 该 组 的 第 2 个 ,第 3 个 ,…… 记 录 相 应 为 第 51 一 100 
题 ,第 101 一 150 Bl, 的 答案 。 

(3) 每 个 学 生 的 答卷 描述 : 该 组 中 每 个 记录 的 第 80 个 字符 均 为 数字 “3”。 每 个 学 生 的 
答卷 在 若干 个 记录 中 给 出 。 如 甲 的 首 记录 第 1 一 9 字符 给 出 学 生 姓 名 及 学 号 ,第 10 一 59 字 
符 列 出 的 是 甲 所 做 的 第 1 一 50 题 的 答案 。 若 试题 数 超过 50, 则 第 2 个 ,第 3 个,…… 记录 分 
别 给 出 他 的 第 51 一 100 题 ,第 101 一 150 Bl, ee 的 解答 。 然 后 是 学 生 乙 的 答卷 记录 。 

(4) 学 生 人 数 不 超过 200 ,试题 数 不 超过 999 。 

Co 程序 的 输出 有 4 个 报告 ; 

a) 按 学 号 排列 的 成 绩 单 , 列 出 每 个 学 生 的 成 绩 、 名 次 。 

b) 按 学 生成 绩 排 序 的 成 绩 单 。 

c) 平均 分 数 及 标准 偏差 的 报告 。 

d) 试题 分 析 报 告 。 按 试题 号 排序 , 列 出 各 题 学 生 答对 的 百分比 。 

解答 : 分 别 考 虑 输入 条 件 和 输出 条 件 以 及 边界 条 件 。 给 出 如 表 2-5 所 示 的 输入 条 件 及 
相应 的 测试 用 例 。 

表 2-5 输入 条 件 测试 用 例 表 


输入 条 件 测试 用 例 


输入 文件 空 输入 文件 


没有 标题 
标题 标题 只 有 1 个 字符 
标题 有 80 个 字符 


试题 数 为 1 
试题 数 为 50 
试题 数 为 51 
试题 数 为 100 
试题 数 为 0 

试题 数 含义 非 数字 字符 


试题 数 


没有 标准 答案 记录 ,有 标题 
标准 答案 记录 标准 答案 记录 多 余 1 个 
标准 答案 记录 少 于 1 个 


0 个 学 生 
1 个 学 生 
200 个 学 生 
201 个 学 生 


学 生 人 数 


某 学 生 只 有 1 个 回答 记录 ,但 有 2 个 标准 答案 记录 
学 生 答题 该 学 生 是 文件 中 的 第 1 个 学 生 
该 学 生 是 文件 中 的 最 后 1 个 学 生 ( 记 录 数 出 错 的 学 生 ) 


某 学 生 有 2 个 回答 记录 ,但 只 有 1 个 标准 答案 记录 
学 生 答题 该 学 生 是 文件 中 的 第 1 个 学 生 (记录 数 出 错 的 学 生 ) 
该 学 生 是 文件 中 的 最 后 1 个 学 生 
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续 表 


输入 条 件 测试 用 例 


所 有 学 生 的 成 绩 都 相等 

每 个 学 生 的 成 绩 都 不 相等 

部 分 学 生 的 等 级 相同 

(检查 是 否 能 按 成 绩 正确 排名 次 ) 
有 个 学 生 0 分 

有 个 学 生 100 分 


学 生成 绩 


输出 条 件 及 相应 的 测试 用 例 , 如 表 2-6 所 示 。 
表 2-6 输出 条 件 测试 用 例 表 


输出 条 件 测试 用 例 
有 不 学 生 的 学 导 最 小 (检查 按 序号 排列 是 否 正确 ) 
aao | 有 个 学 生 的 学 号 最 大 (检查 按 序 号 排列 是 否 正 确 ) 
ab | 适当 的 学 生 人 数 ,是 产生 的 报告 刚好 满 1 页 (检查 打印 页 数 ) 
学 生 人 数 比 刚才 多 出 1 人 (检查 打印 换 页 ) 
平均 成 绩 100 
平均 成 绩 0 
条 人 标准 偏差 为 最 大 值 (有 一 半 的 0 分 ,其 他 100 分 ) 
标准 偏差 为 0( 所 有 成 绩 相等 ) 
所 有 学 生 都 答对 了 第 1 是 
所 有 学 生 都 答 错 了 第 1 是 
所 有 学 生 都 答对 了 最 后 1 是 
输出 报告 4d 所 有 学 生 都 答 错 了 最 后 1 是 
选择 适当 的 试题 数 ,使 第 4 个 报告 刚好 打 满 1 页 
试题 数 比 刚才 多 1, 使 报告 打 满 1 页 后 ,刚好 剩 下 1 题 未 打 


【实例 2-3】 三 角形 问题 的 边界 值 分 析 测 试用 例 。 
在 三 角形 问题 描述 中 ,除了 要 求 边 长 是 整数 外 ,没有 给 出 其 他 的 限制 条 件 。 在 此 ,我 们 
将 三 角形 每 边 边 长 的 取 范 围 值 设 置 为 [1,100] 测 试用 例 ,如 表 2-7 所 示 。 


表 2-7 测试 用 例 表 

测试 用 例 a b c 预期 输出 
Testl 60 60 1 等 腰 三 角形 
Test2 60 60 2 等 腰 三 角形 
Test3 60 60 60 等 边 三 角形 
Test4 50 50 99 等 腰 三 角形 
Test5 50 50 100 非 三 角形 

Test6 60 1 60 等 腰 三 角形 
Test7 60 2 60 等 腰 三 角形 
Test8 50 99 50 等 腰 三 角形 
Test9 50 100 50 非 三 角形 

Test10 1 60 60 等 腰 三 角形 
Testll 2 60 60 等 腰 三 角形 
Test12 99 50 50 等 腰 三 角形 
Test13 100 50 50 非 三 角形 
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2.3.3 错误 推测 法 
1. 错误 推测 法 


错误 推测 法 是 经 验 丰富 的 测试 人 员 常常 使 用 的 一 种 测试 用 例 设计 方法 。 错 误 推 测 方法 
是 基于 经 验 和 直觉 推测 程序 中 所 有 可 能 存在 的 各 种 错误 ,从 而 有 针对 性 地 设计 测试 用 例 的 
方法 。 

错误 推测 法 的 基本 思想 是 : 列举 出 程序 中 所 有 可 能 的 错误 和 容易 发 生 错 误 的 特殊 情 
况 ,根据 它们 选择 测试 用 例 。 例 如 ,设计 一 些 非法 、 错 误 、. 不 正确 和 垃圾 数据 进行 输入 测试 。 
如 果 软 件 要 求 输入 数字 ,就 输入 字母 ; 如 果 软 件 只 接受 正 数 ,就 输入 负数 ; 如 果 软 件 对 时 间 
敏感 ,就 输入 不 正常 年 份 等 。 


2. 错误 推测 法 实例 


1) 前 面 [实例 2-2] 中 成 绩 报告 的 程序 ,采用 错误 推测 法 还 可 以 补充 设计 一 些 测 试用 例 : 

L. 程序 是 否 把 空格 作为 回答 。 

I. 在 回答 记录 中 混 有 标准 答案 记录 。 

焉 .除了 标题 记录 外 ,还 有 一 些 记 录 最 后 一 个 字符 既 不 是 2 也 不 是 3。 

N. 有 两 个 学 生 的 学 号 相同 。 

V. 试题 数 是 负数 。 

2) 测试 一 个 对 线性 表 ( 比 如 数组 ) 进 行 排序 的 程序 ,可 推测 列 出 以 下 几 项 需要 特别 测试 
的 情况 : 

l. 输入 的 线性 表 为 空 表 。 

I. 表 中 只 含有 一 个 元 素 。 

Wl. 输入 表 中 所 有 元 素 已 排 好 序 。 

N. 输入 表 已 按 逆序 排 好 。 

V. 输入 表 中 部 分 或 全 部 元 素 相同 。 


2.3.4 因果 图 方法 
1. 因果 图 法 概述 


如 果 程 序 的 输入 条 件 之 间 相 互联 系 ,就 会 使 情况 变 得 复杂 ,要 检查 输入 条 件 的 组 合 情 况 
不 是 一 件 容 易 的 事情 ,即使 把 所 有 输入 条 件 划分 成 等 价 类 ,它们 之 间 的 组 合 情 况 也 相当 多 ， 
难于 分 析 清 楚 。 因 此 ,必须 考虑 采用 因果 图 法 ,这 种 方法 能 够 对 于 多 种 条 件 组 合 、 产 生 多 个 
动作 的 情况 来 设计 测试 用 例 。 

因果 图 法 是 软件 测试 中 的 一 种 重要 方法 , 它 是 由 美国 IBM 公司 的 Elemendorf 在 吸收 
硬件 测试 中 自动 生成 逻辑 组 合 电路 测试 等 技术 的 基础 上 于 1973 年 提出 的 , 它 是 作为 进行 功 
能 测试 把 功能 说 明 书 形 式 化 的 一 种 记述 方法 。 因 果 图 法 是 用 逻辑 式 描述 程序 的 输入 条 件 
(原因 ) 和 输出 条 件 (结果 ) ,同时 ,用 制约 条 件 描述 输入 条 件 间 的 依赖 关系 的 一 种 方法 ,其 特 
征 在 于 图 式 记 述 。 
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因果 图 方法 基于 这 样 的 一 种 思想 : 一 些 程序 的 功能 可 以 用 判定 表 的 形式 来 表示 ,并 根 
据 输 入 条 件 的 组 合 情 况 规定 相应 的 操作 。 因 此 ,可 以 考虑 为 判定 表 中 的 每 一 列 设 计 一 个 测 
试用 例 ,以 便 测 试 程序 在 输入 条 件 的 某 种 组 合 下 的 输出 十 分 正确 。 概 括 地 说 ,因果 图 方法 就 
是 从 程序 规格 说 明 书 的 描述 中 找 出 因 ( 输 入 条 件 ) 和 果 ( 输 出 结果 或 程序 状态 的 改变 ) 的 关 
系 ,通过 因果 图 转换 为 判定 表 , 最 后 为 判定 表 中 的 每 一 列 设计 一 个 测试 用 例 。 这 种 方法 考虑 
到 输入 情况 的 各 种 组 合 以 及 各 个 输入 情况 之 间 的 相互 制约 关系 ,适合 于 检查 程序 输入 条 件 
的 各 种 组 合 情 况 。 


2. 因果 图 的 画 法 


如 果 在 测试 时 必须 考虑 输入 条 件 的 各 种 组 合 , 则 可 能 的 组 合 数目 将 是 天 文 数字 ,因此 必 
须 考虑 采用 一 种 适合 于 描述 多 种 条 件 的 组 合 、 相 应 产生 多 个 动作 的 形式 来 进行 测试 用 例 的 
设计 ,这 就 需要 利用 因果 图 。 因 果 图 方法 能 帮助 测试 人 员 按 照 一 定 的 步骤 ,高 效率 地 开发 测 
试用 例 ,以 检测 程序 输入 条 件 的 各 种 组 合 情 况 。 它 是 将 自然 语言 规格 说 明 转 化 成 形式 语言 
规格 说 明 的 一 种 严格 方法 ,可 以 指出 规格 说 明 存在 的 不 完整 性 和 二 义 性 。 

在 因果 图 中 ,以 直线 连接 左右 节点 , 左 节点 表示 输入 状态 (原因 ) , 右 节 点 表示 输出 状态 
(结果 ) 。 因 果 图 中 常用 4 种 符号 表示 规格 说 明 中 的 4 种 因果 关系 ,如 图 2-2 所 示 。 

图 2-2 中 ,ci 表示 原因 ,通常 置 于 图 的 左 部 ; e; 表示 结果 ,通常 在 图 的 右 部 。c 和 e; 均 
可 取 值 0 或 1,0 表示 某 状 态 不 出 现 ,1 表示 某 状 态 出 现 。 

Ti ^f. 若 c 是 1, 则 e 也 是 1; B e 为 0。 

3E: 2r c; J& 1.90 e; Æ 05 否则 e 是 1。 

R: Eo 或 或 是 1, 则 e 是 1; 否则 e 为 0.“ 或 "可 有 任意 个 输入 。 

与 : 若 c cs 都 是 1, 则 为 1; 否则 为 0。“ 与 "也 可 有 任意 个 输入 。 

输入 状态 相互 之 间 还 可 能 存在 某 些 依赖 关系 , 称 为 约束 。 例 如 , 某 些 输入 条 件 本 身 不 
可 能 同时 出 现 。 输 出 状态 之 间 也 往往 存在 约束 关系 。 在 因果 图 中 ,用 特定 的 符号 表明 这 些 


约束 关系 ,如 图 2-3 所 示 。 
-OO 
恒 等 非 $ ©) » © m 
>o 49 È 
Ri IM 
© 5 © 或 sx No) 强制 07 


图 2-2 因果 关系 图 2-3 ARAR 


输入 条 件 的 约束 有 4 类 : 

E ARC): a 和 b 中 至 多 有 一 个 可 能 为 1, 即 a M b 不 能 同时 为 1。 

I 约束 (或 ): ab 和 c 中 至 少 有 一 个 必须 是 1, 即 a.b 和 cc 不 能 同时 为 0。 
O 约束 (唯一 ); a 和 必须 有 一 个 , 且 仅 有 1 个 为 1。 
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R 约束 (要 求 ): a 是 1 时 ,b 必须 是 1, 即 不 可 能 a 是 1 时 b 是 0。 

输出 条 件 约束 类 型 只 有 一 种 : 

M 约束 (强制 ): 若 结果 a 是 1, 则 结果 b 强制 为 0。 

利用 因果 图 生成 测试 用 例 的 基本 步骤 : 

(1) 分 析 软 件 规格 说 明 描 述 中 ,哪些 是 原因 ( 即 输入 条 件 或 输入 条 件 的 等 价 类 ) ,哪些 是 
结果 ( 即 输出 条 件 ) ,并 给 每 个 原因 和 结果 赋予 一 个 标识 符 。 

(2) 分 析 软 件 规格 说 明 描 述 中 的 语义 , 找 出 原因 与 结果 之 间 ,原因 与 原因 之 间 对 应 的 关 
系 ,根据 这 些 关 系 , 画 出 因果 图 。 

(3) 由 于 语法 或 环境 限制 ,有 些 原因 与 原因 之 间 , 原 因 与 结果 之 间 的 组 合 情 况 不 可 能 出 
现 , 为 表明 这 些 特 殊 情况 ,在 因果 图 上 用 一 些 记 号 表明 约束 或 限制 条 件 。 

(4) 把 因果 图 转换 为 判定 表 。 

(5) 把 判定 表 的 每 一 列 拿 出 来 作为 依据 ,设计 测试 用 例 。 


3. 利用 因果 图 法 设计 测试 用 例 实例 


【实例 2-4】 某 程序 规格 说 明 要 求 : 输入 的 第 一 个 字符 必须 是 # 或 * ,第 二 个 字符 必须 
是 一 个 数字 ,此 情况 下 进行 文件 的 修改 ; 如 果 第 一 个 字符 不 是 并 或 *, 则 给 出 信息 N, 如 果 
第 二 个 字符 不 是 数字 , 则 给 出 信息 M。 


解 题 步 又 : 
分 析 程 序 的 规格 说 明 , 列 出 原因 和 结果 ,如 表 2-8 所 示 。 
ARIS 原因 和 结果 
原 m LEES 
o: 第 一 个 字符 是 # eis 给 出 信息 N 
e: 第 一 个 字符 是 * ez: 修改 文件 
co: 第 二 个 字符 是 一 个 数字 e: 给 出 信息 M 


找 出 原因 与 结果 之 间 , 原因 与 原因 之 间 对 应 的 关系 ,根据 这 些 关 系 , 画 出 因果 图 ,如 
图 2-4 所 示 。 编 号 为 10 的 中 间 节 点 是 导出 结果 的 进一步 原因 。 

找 出 原因 与 原因 之 间 ,原因 与 结果 之 间 的 组 合 情 况 ,在 因果 图 上 用 一 些 记号 表明 约束 或 
限制 条 件 。 因 为 c 和 es 不 可 能 同时 为 1, 即 第 一 个 字符 不 可 能 既是 # 又 是 * ,在 因果 图 上 
可 对 其 施加 e 约束 ,如 图 2-5 所 示 。 


图 2-4 原因 与 结果 的 关系 图 2-5 因果 图 


把 因果 图 转换 为 判定 表 , 如 表 2-9 Bros 
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表 2-9 HER 
规则 
m 1 2 3 4 5 6 7 8 
c 1 4 1 1 0 0 0 0 
c 1 1 0 0 1 1 0 0 
us 6 1 0 1 0 1 0 1 0 
10 1 1 1 1 0 0 
e v E 
ez ~ v 
iii e v 4 v 
不 可 能 v v 
测试 用 例 #3 #A *6 *B Al GT 
把 判定 表 的 每 一 列 拿 出 来 作为 依据 ,设计 测试 用 例 ,如 表 2-10 所 示 。 
表 2-10 测试 用 例 表 
测试 用 例 编号 输入 数据 预期 输出 
1 #3 修改 文件 
2 *A 给 出 信息 M 
3 *6 修改 文件 
4 *B 给 出 信息 M 
5 Al 给 出 信息 N 
6 GT 给 出 信息 N 和 信息 M 


以 上 是 因果 图 的 一 个 简单 例子 ,在 这 个 例子 中 ,由 于 关系 简单 ,条 件 组 合 较 少 ,即使 不 用 
画 因果 图 也 能 直接 得 到 决策 表 , 但 不 要 就 此 以 为 因果 图 是 多 余 的 。 在 较为 复杂 的 问题 中 , 因 
果 图 方法 十 分 有 效 ,可 以 帮助 检查 输入 条 件 组 合 , 设 计 出 非 元 余 、 高 效 的 测试 用 例 。 


2.3.5 ”决策 表 法 
1. 决策 表 


在 因果 图 方法 中 用 到 的 决策 表 ( 也 称 为 判定 表 ) ,是 软件 工程 实践 中 的 重要 工具 ,主要 用 
在 软件 开发 的 详细 设计 阶段 。 决 策 表 的 作用 与 因果 图 类 似 ,能 表示 输入 条 件 的 组 合 以 及 与 
每 一 输入 组 合 相 对 应 的 动作 组 合 。 因 此 ,决策 表 与 因果 图 的 使 用 场合 类 似 。 

决策 表 是 分 析 和 表达 多 逻辑 条 件 下 执行 不 同 操作 的 情况 的 工具 。 在 所 有 的 黑 盒 测试 方 
法 中 ,基于 决策 表 的 测试 是 最 为 严格 最 具有 逻辑 性 的 测试 方法 。 在 一 些 数据 处 理 问题 当中 ， 
某 些 操作 的 实施 依赖 于 多 个 逻辑 条 件 的 组 合 , 即 针对 不 同 逻 辑 条 件 的 组 合 值 ,分 别 执行 不 同 的 
操作 。 决 策 表 很 适合 于 处 理 这 类 问题 。 决 策 表 的 优点 在 于 能 够 将 复杂 的 问题 按照 各 种 可 能 的 
情况 全 部 列举 出 来 ,简明 并 避免 遗漏 。 因 此 ,利用 决策 表 能 够 设计 出 完整 的 测试 用 例 集合 。 

决策 表 的 构造 形式 如 图 2-6 所 示 。 决 策 表 通常 由 5 部 分 组 成 ,分 别 如 下 。 

条 件 桩 : 列 出 问题 的 所 有 条 件 。 

条 件 项 : 针对 条 件 桩 给 出 的 条 件 列 出 所 有 可 能 的 取 值 。 一 般 来 说 ,条 件 项 的 个 数 数量 
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庞大 ,例如 ,问题 有 5 个 条 件 , 每 个 条 件 有 2 个 取 值 , 条 件 项 的 个 数 就 是 2 一 32。 

动作 桩 : 列 出 问题 规定 的 可 能 采取 的 操作 ,操作 顺序 一 般 没 有 约束 。 

动作 项 : 指出 在 条 件 项 的 各 组 取 值 情况 下 应 采取 的 动作 ,动作 项 的 数目 与 条 件 项 相等 。 

规则 : 一 种 条 件 取 值 组 合 与 其 对 应 的 动作 组 合 ( 即 决策 表 中 贯穿 条 件 项 和 动作 项 的 一 
列 ) 构 成 决策 表 中 的 一 个 规则 。 条 件 取 值 组 合 的 数目 就 是 规则 的 数目 。 

构造 决策 表 可 遵循 如 下 步骤 : 

CD 列 出 条 件 桩 和 动作 桩 。 

(2) 确定 规则 的 个 数 。 有 个 条 件 的 决策 表 有 2n 个 规则 (每 个 条 件 取 真 、 假 值 ) 。 

(3) 填 人 条 件 项 。 

(4) 填 入 动作 项 ,得 到 初始 决策 表 。 

(5) 简化 决策 表 , 合 并 相似 规则 。 

建立 决策 表 后 ,可 针对 决策 表 中 的 每 一 列 有 效 规则 设计 一 个 测试 用 例 , 用 于 对 程序 进行 
黑 盒 测试 。 

实际 使 用 决策 表 时 需要 简化 以 合并 相似 规则 。 若 表 中 有 两 条 以 上 规则 具有 相同 动作 ， 
且 在 条 件 项 之 间 存 在 相似 关系 ,就 可 以 进行 合并 。 如 图 2-7 所 示 ,条 件 项 的 前 两 个 条 件 取 值 
一 致 ,只 有 第 3 个 条 件 取 值 不 同 , 这 表明 前 两 个 条 件 分 别 取 真 值 和 假 值 时 ,无 论 第 3 个 条 件 取 
何 值 ,都 要 执行 同一 操作 ,这 两 条 规则 可 以 合并 。 合 并 后 第 3 个 条 件 项 用 符合 “一 ”表示 与 取 值 
无 关 , 称 为 “无 关 条 件 ”。 与 此 类 似 , 具 有 相同 动作 的 规则 可 进一步 合并 ,如 图 2-7 所 示 。 


Y Y Y Y Y x 
TT. PTS N N N — | N = 
EE 条 件 项 YIN 一 N |N N 
——» p 
动作 桩 动作 项 规则 A | M 
«LX r4 
图 2-6 ”决策 表 构造 图 2-7 规则 的 合并 


2. 利用 决策 表 方法 生成 测试 用 例 实例 


【实例 2-5】 问题 要 求 :“ 对 功率 大 于 50 马力 的 机 器 、 维 修 记 录 不 全 或 已 运行 10 年 以 
上 的 机 器 ,应 给 予 优先 的 维修 处 理 ”。 这 里 假定 ,“ 维 修 记 录 不 全 ”和 “优先 维修 处 理 ” 均 已 在 
别处 有 更 严格 的 定义 。 请 建立 决策 表 。 

解 题 步骤 ， 

CD 列 出 所 有 的 条 件 桩 和 动作 桩 ,如 表 2-11 所 示 。 


表 2-11 原因 与 结果 


功率 大 于 50 马力 吗 ? 
条 件 维修 记录 不 全 吗 ? 
运行 超过 10 年 吗 ? 
E 进行 优先 处 理 
ind 作 其 他 处 理 
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(2) 确定 规则 的 个 数 : 这 里 有 3 个 条 件 ,每 个 条 件 有 两 个 取 值 , 故 应 有 2 一 8 种 规则 。 

(3) 填 人 条 件 项 。 可 从 最 后 1 行 条 件 项 开始 , 逐 行 向 上 填 满 。 如 第 三 行 是 : YNYNY 
N YN, 第 二 行 是 : YYNNYYNN 等 。 

(4) 填 人 动作 桩 和 动作 项 。 这 样 便 得 到 如 表 2-12 所 示 的 初始 决策 表 。 


表 2-12 初始 决策 表 

1 2 3 4 5 6 7 8 

功率 大 于 50 马力 吗 ? Y Y Y Y N N N N 

条 件 | 维修 记录 不 全 吗 ? Y Y N N Y Y N N 

运行 超过 10 年 吗 ? Y N Y N Y N X N 

动作 进行 优先 处 理 JV 4 v V v 

作 其 他 处 理 JV v v 
(5) 化 简 决策 表 。 根 据 合 并 相似 规则 ,初始 决策 表 中 的 部 分 规则 可 以 进行 合并 。 例 如 
规则 1 和 规则 2 可 以 合并 ,规则 3、5、7 可 以 合并 ,规则 6,8 可 以 合并 。 合 并 后 得 到 简化 决策 


KWK 2-13 所 示 。 


表 2-13 简化 决策 表 
1 2 3 4 
功率 大 于 50 马力 吗 ? Y = Y N 
E 维修 记录 不 全 吗 ? Y = N 一 
运行 超过 10 年 吗 ? 一 X N N 
E 进行 优先 处 理 Ri Ri 
a 作 其 他 处 理 Jv Ri 


【实例 2-6】 用 决策 表 为 NextDate 函数 设计 测试 用 例 。 

NextDate 函数 包含 三 个 变量 month, day 和 year, 函 数 的 输出 为 输入 日 期 后 一 天 的 日 
期 。 要 求 输入 变量 month、day 和 year 均 为 整数 值 ,并 且 满 足下 列 条 件 : 

条 件 1: 1 monthc12 

条 件 2: 1 days3l 

条 件 3: 1912 yearc2050 

解 题 步骤 : 

三 个 变量 间 存 在 复杂 逻辑 依赖 关系 ,需要 建立 决策 表 进 行 分 析 。 

条 件 有 3 个 : month ,day 和 year, 

结果 是 函数 能 够 使 用 的 操作 ,有 5 种 : day 变量 和 mouth 变量 的 加 1 和 复位 操作 ,year 
变量 的 加 1 操作 (year 没有 复位 操作 是 因为 每 年 只 有 1 天 需要 加 1, 其 他 情况 year 都 不 发 生 
变化 ,因此 只 考虑 特殊 的 每 年 最 后 一 天 就 行 了 ) 。 

条 件 的 取 值 不 再 是 单一 的 “ 真 ”? 和 * 假 ”, 针 对 具体 日 期 ,输出 日 期 会 有 很 多 变化 。 所 以 要 
先进 行 等 价 类 的 划分 , 借 此 来 确定 条 件 变量 的 取 值 情况 。 根 据 变量 间 的 逻辑 依赖 关系 ,划分 
等 价 类 集合 如 下 : 

M1 一 {月 份 : 每 月 有 30 X)! M2—(H 0: 每 月 有 31 天 ,12 月 除外 } 

M3 二 {月 份 : 12 H} M4 二 {月 份 : 2 月 } 


D1 


{ 日 期 : 1 二 = 日 期 二 =27} 


D2 


D3 二 {日 期 : 29) 


Yl 二 {年 : EEE) 


D4 二 {日 期 : 30》 


{日 期 : 28) 


D5 二 {日 期 : 31} 
Y2 一 { 年 : EREHE) 
变量 mouth 的 取 值 有 4 个 : M1、M2、M3、M4。 

day 有 5 个 取 值 : DI,D2,D3,D4,D5, 
year 有 2 个 取 值 : Yl1、Y2。 
3I A3 4x 5x 2—40, 
初始 决策 表 , 如 表 2-14 所 示 。 
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表 2-14 初始 决策 表 
1|12|13|4|15|16|1718|19110111112113|114|115116117|118119|20 
M 1|1|1|1]|1/|1/|1/|1/|1/|1/[2/|]2/|2/|2|2|2]|2]|2 2 
条 件 | D 1|1|[2|2|]38|3|4/|4/|5|5|1/|1/[2/|2|3|3/|4|4 5 
Y 1|2:|12]12]|13]2]|t1|2|t|2|t|2|1]|2/|t1|2|3]|2 2 
day 十 1 FAEMEAEAEAE VIVIVIVIVIVIVIXV 
day 复位 Ji FEE 
p mouth+1 VIv Viv 
动作 mouth 复位 
year 十 1 
不 可 能 EAE 
21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 
M 3|3|3|3|3|3|3|3|13|3|4|4|4|4|4|4|4|4|4|4 
条 件 | D 1|1|12|2|3|13|4|4|5|5|1|1|12|12|3|13|4|4|5|5 
Y 1|[2|1|[2|1|[2|1|2|1/|2/|1[|2|1]|2]|1/|2/|1/|2]|1]|2 
day 十 1 VIVIVIVIVIVIVIV ERARI 
day 复位 VIv PARI 
E mouth 十 1 JI 
动作 | mouth 复位 区 
year 十 1 PARI 
不 可 能 VIVIVIVIYV 
初步 简化 决策 表 , 如 表 2-15 所 示 。 
表 2-15 简化 决策 表 
1~2 | 3~4 | 5~6 | 7—8 |9~10 |11~12|13~14| 15~16 17 一 18|19 一 20 
M 1 1 1 1 1 2 2 2 2 2 
条 件 | D 1 2 3 4 5 1 2 3 4 5 
Y. 
day+1 v ~ v v vV v v 
day 复位 ~ v 
_ mouth 十 1 Vv vV 
动作 mouth 复位 
year 十 1 
不 可 能 ~v 
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续 表 
21~22|23~24|25~26|27~28|29~30|31~32| 33 |34| 35 |36|37~38|39~40 
M 3 3 3 3 3 4 4 4 |4| 4 4 
条 件 D 1 2 3 4 5 1 2 3 3/4 5 
Y 1 1 |2| 一 | 一 
day 十 1 vV JV v v v v 
day 复位 Nh V | V 
动作 Boni J| 
mouth 复位 v 
year+ 1 ~V 
不 可 能 v| v J| 
再 次 简化 决策 表 , 如 表 2-16 Bro 
表 2-16 二 次 简化 决策 表 
序 号 1 2 3 4 5 6 7 8 9 | 30 | 1 || 12/| 13 
M 1~3| 1 1 £I«ls!-Il/Xl*)|*|sx]34)] & 
条 件 | D 1~3| 4 5 4 5 4 5 1 2 3 3 |4—5 
Y 1 1 2 | 一 
day 十 1 ~ V M M vV 
day 复位 ~ ~v v ME 
m mouth+1 NA NA ~ v 
动作 mouth 复位 ~V 
year+1 Nh 
不 可 能 M "EE 
对 应 测试 用 例 表 ,如 表 2-17 Bron o 
表 2-17 测试 用 例 表 
序号 输 入 预期 输出 
1 1990-5-26 1990-5-27 
2 2001-4-30 2001-5-1 
3 2001-4-31 错误 
4 1999-8-30 1999-8-31 
5 1999-8-31 1999-9-1 
6 2010-12-30 2010-12-31 
7 2009-12-31 2010-1-1 
8 2010-2-18 2010-2-19 
9 2008-2-28 2008-2-29 
10 2007-2-28 2007-3-1 
11 2008-2-29 2008-3-1 
12 2007-2-29 错误 
13 2007-2-30 错误 
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3. 决策 表 的 适用 范围 


决策 表 能 把 复杂 的 问题 按 各 种 可 能 的 情况 一 一 列举 出 来 ,简明 而 易于 理解 ,也 可 避免 遗 
漏 。 但 决策 表 不 能 表达 重复 执行 的 动作 ,例如 循环 结构 。 
决策 表 测试 法 适用 于 具有 以 下 特征 的 应 用 程序 : 
。 if-then-else 逻辑 突出 。 
输入 变量 之 间 存 在 逻辑 关系 。 
涉及 输入 变量 子 集 的 计算 ; 输入 与 输出 之 间 存 在 因果 关系 。 
适用 于 使 用 决策 表 设 计 测 试用 例 的 条 件 。 
规格 说 明 以 决策 表 形 式 给 出 或 较 容易 转换 为 决策 表 。 
条 件 的 排列 顺序 不 会 也 不 应 影响 执行 的 操作 。 
规则 的 排列 顺序 不 会 也 不 应 影响 执行 的 操作 。 
当 某 一 规则 的 条 件 已 经 满足 ,并 确定 要 执行 的 操作 后 ,不 必 检验 别 的 规则 。 如 果 某 一 规 
则 的 条 件 要 执行 多 个 操作 ,这 些 操作 的 执行 顺序 无 关 紧 要 。 


2.3.6 正 交 试验 设计 法 
1. 正 交 表 基 本 概念 


正 交 试验 设计 起 源 于 科学 试验 , 它 应 用 依据 Galois 理论 导出 的 正 交 表 , 从 大 量 试验 条 
件 中 挑选 出 适量 的 有 代表 性 的 条 件 来 合理 地 安排 试验 。 运 用 这 种 方法 安排 的 试验 具有 “ 均 
勾 分 散 、 整 齐 可 比 ” 的 特点 。“ 均 匀 分 散 ” 性 使 试验 点 均衡 地 分 布 在 试验 范围 内 ,让 每 个 试验 
点 有 充分 的 代表 性 ;“ 整 齐 可 比 ” 性 使 试验 结果 的 分 析 十 分 方便 ,可 以 估计 各 因素 对 指标 的 
影响 , 找 出 影响 事物 变化 的 主要 因素 。 实 践 证 明 , 正 交 试 验 设计 是 一 种 解决 多 因素 试验 问题 
卓有成效 的 方法 。 

正 交 表 是 一 整套 规则 的 设计 表格 ,L,(z) 为 正 交 表 的 表示 代号 ,其 中 ?为 试验 次 数 ( 正 
交 表 的 行 数 ) ,t 为 水 平 数 (就 是 变量 的 取 值 个 数 ),c 为 影响 因素 的 个 数 ,也 就 是 变量 的 个 数 
( 正 交 表 的 列 数 ) 。 例 如 : Le(34) 表 示 需 要 9 次 实验 ,最 多 可 观察 4 个 因素 ,每 个 因素 有 3 个 
取 值 。 正 交 表 是 运用 组 合 数学 理论 ,在 拉丁 方 和 正 交 拉丁 方 的 基础 上 构造 的 一 种 规格 化 的 
表格 , 它 将 正 交 试 验 选择 的 水 平 组 合 列 出 表格 。Ls(34) 也 可 以 这 样 解释 : 该 正 交 表 有 9 行 4 
列 , 表 中 每 个 单元 格 的 取 值 都 为 3, 如 表 2-18 所 示 。 再 如 : Lis (2X3;) 表 示 的 正 交 表 是 16 行 
8 列 , 其 中 第 一 列 的 单元 格 有 2 个 取 值 , 后 7 列 有 3 个 取 值 。 


表 2-18 Lo (34) 正 交 表 


Factor 
1 


2 3 4 
Runs 
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Factor | 


m 
E 
w 
rs 


Runs 


有 关 术 语 解释 : 

次 数 (Runs): 运用 在 测试 方法 中 , 即 为 试验 次 数 ,也 就 是 测试 用 例 的 个 数 。 

KHR (Factor): 试验 中 准备 考察 的 变量 。 

水 平 (Level) : 被 考察 因素 的 取 值 。 

正 交 表 具 有 以 下 两 项 性 质 : 

(1) 每 一 列 中 ,不 同 的 数字 出 现 的 次 数 相等 。 例 如 在 两 水 平 正 交 表 中 ,任何 一 列 都 有 数 
码 *1” 与 “2”, 且 任何 一 列 中 它们 出 现 的 次 数 是 相等 的 ,如 在 三 水 平 正 交 表 中 ,任何 一 列 都 有 
“1”“2”“3”, 且 在 任 一 列 的 出 现 数 均 相 等 。 

(2) 任意 两 列 中 数字 的 排列 方式 齐全 而 且 均 衡 。 例 如 在 两 水 平 正 交 表 中 ,任何 两 列 ( 同 
一 横行 内 ) 有 序 对 子 共 有 4 种 : (1,1)、(1,2)、(2,1)、(2,2)。 每 种 对 数 出 现 次 数 相等 。 在 三 
水 平 情况 下 ,任何 两 列 (同一 横行 内 ) 有 序 对 共有 9 种 ,(1,1)、(1,2)、(1,3)、(2,1)、(2,2)、 
(2,3)、(3,1)、(3,2)、(3,3), 且 每 对 出 现 数 也 均 相 等 。 

以 上 两 点 充分 地 体现 了 正 交 表 的 两 大 优越 性 , 即 “均匀 分 散 ”" 和 "整齐 可 比 ”。 通 俗 地 说 ， 
每 个 因素 的 每 个 水 平 与 男 一 个 因素 各 水 平 各 碰 一 次 ,这 就 是 正 交 性 。 正 交 性 保证 了 在 各 个 
水 平 中 最 大 程度 地 排除 了 其 他 因素 水 平 的 干扰 ,能 最 有 效 地 进行 比较 和 做 出 预期 ,容易 找到 
好 的 试验 条 件 。 

正 交 试验 设计 法 的 基本 步骤 如 下 : 

COD 确定 因素 。 

(2) 确定 每 个 因素 的 水 平 数 。 

(3) 选择 合适 正 交 表 ( 常 用 的 正 交 表 在 各 种 专业 书籍 和 网 站 中 可 以 查 到 ,例如 http:// 
www. york. ac. uk/depts/maths/tables/orthogonal. htm, 根 据 实际 的 因素 数 和 水 平 数 选择 
合适 的 正 交 表 ) 。 

(4) 把 变量 的 值 映射 到 表 中 。 

(5) 把 每 一 行 的 各 因素 水 平 的 组 合作 为 一 个 测试 用 例 。 

(6) 加 上 认为 可 能 且 没 有 在 表 中 出 现 的 组 合 。 

公式 1: 

试验 次 数 (runs) 一 M [deves — 1) X factors] — 1 

如 何 找到 合适 的 正 交 表 呢 ? 

常用 的 正 交 表 在 各 种 专业 书籍 和 网 站 中 可 以 查 到 ,例如 http://www. york. acuk/ 
depts/maths /tables /orthogonal. htm ,如 图 2-8 所 示 。 

使 用 正 交 法 进行 试验 设计 时 ,需要 根据 实际 的 因素 及 其 相应 水 平 来 求解 试验 次 数 和 详 
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Orthogonal Arrays (Taguchi Designs) 


Note that L36b is temporarily unavailable - cf. http: vw itl nist govidiv898/software/dataplot designs htm. 


图 2-8 正 交 表 检索 


细 的 试验 数据 。 利 用 公式 1 可 以 由 因素 数 和 相应 水 平 数 求 出 最 少 试验 次 数 ( 行 数 ) 。 正 交 表 
的 行 数 应 该 大 于 等 于 最 少 试验 次 数 ,同时 结合 因素 数 和 水 平 数 就 可 以 找到 合适 的 正 交 表 。 

例如 : 

某 试验 有 3 个 因素 ,3 个 水 平 。 

则 试验 次 数 =(3 一 1)X3 十 1 一 7。 

找到 合适 的 正 交 表 : Les(3?) ,如 图 2-9 所 示 。 

再 如 : 某 试验 有 4 个 因素 ,其 中 3 个 因素 是 3 水 平 ,1 个 因素 是 2 水 平 。 

试验 次 数 一 (3 一 1)X3 十 (2 一 1) X1 十 1 一 8。 

找到 合适 正 交 表 : Lis (1* x 350 ,选取 前 4 列 使 用 即 可 ,如 图 2-10 所 示 。 


图 2-9 LG?) 图 2-10 Lis(1:X33) 
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2. 正 交 试验 法 应 用 


【实例 2-7】 为 提高 某 化 学 产品 的 转化 率 ,选择 3 个 有 关 因 素 进 行 条 件 试验 ,它们 分 别 
是 反应 温度 A, 反 应 时 间 B 和 用 碱 量 C, 并 确定 其 取 值 范围 为 : 

A: 80—90'C ; 

B: 90—150min; 

C: 596—196. 

试验 目的 是 确定 因素 A B,C 对 转化 率 有 什么 影响 ,从 而 确定 最 佳 生产 条 件 , 即 转化 率 
最 高 时 的 温度 .时 间 和 用 碱 量 。 这 里 ,对 因素 ABC 在 试验 范围 内 选取 3 个 水 平 , 分 别 是 ， 

A:Al — 80'C,A2 = 85'C.A3 = 90'C; 

B; Bl = 90min; B2 = 120min; B3 = 150min; 

C; C1 = 5%,C2 = 664,C3 = 7%. 

本 例 中 有 3 个 水 平 3 因素 ,经 过 筛选 ,应 选择 正 交 表 Ls (30 ,而 该 例 中 只 有 3 个 因素 ,每 
个 因素 对 应 正 交 表 中 的 一 列 ,可 仅 使 用 表 中 的 前 3 列 (任意 3 列 都 可 以 )。 把 A,B,C 及 其 水 
平 数 分 别 与 表 中 一 列 对 应 ,就 得 到 正 交 试验 设计 方案 ,如 表 2-19 Bro o 


表 2-19 正 交 试 验方 案 


试验 条 件 
试验 号 水 平 组 合 
i HEC 时 间 min 用 碱 量 % 
1 AIBICI 80 90 5 
2 AIB2C2 80 120 6 
3 AIB3C3 80 150 7 
4 A2BIC2 85 90 5 
5 A2B2C3 85 120 7 
6 A2B3CI 85 150 5 
7 A3BIC3 90 90 7 
8 ASB2CI 90 120 5 
9 A3B3C2 90 150 6 
2.3.7 功能 图 法 


程序 的 功能 说 明 通 常 由 动态 说 明和 葛 态 说 明 组 成 ,动态 说 明 描 述 了 输入 数据 的 次 序 或 
转移 的 次 序 ,静态 说 明 描述 了 输入 条 件 与 输出 条 件 之 间 的 对 应 关系 。 对 于 较 复 杂 的 程序 ,由 
于 存在 大 量 的 组 合 情 况 , 仅 用 静态 说 明 组 成 的 规格 说 明 对 于 测试 来 说 往往 是 不 够 的 ,必须 用 
动态 说 明 来 补充 功能 说 明 。 

功能 图 方法 是 用 功能 图 FD 形式 化 地 表示 程序 的 功能 说 明 , 并 机 械 地 生成 功能 图 的 测 
试用 例 。 功 能 图 模型 由 状态 迁移 图 和 逻辑 功能 模型 构成 。 状 态 迁 移 图 用 于 表示 输入 数据 序 
列 以 及 相应 的 输出 数据 ,在 状态 迁移 图 中 ,由 输入 数据 和 当前 状态 决定 输出 数据 和 后 续 状 
态 。 逮 辑 功能 模型 用 于 表示 在 状态 中 输入 条 件 和 输出 条 件 之 间 的 对 应 关系 ,逻辑 功能 模型 
只 适合 于 描述 静态 说 明 ,输出 数据 仅 由 输入 数据 决定 ,测试 用 例 则 是 由 测试 中 经 过 的 一 系列 
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状态 和 在 每 个 状态 中 必须 依靠 输入 输出 数据 满足 的 一 对 条 件 组 成 。 功 能 图 方法 其 实 是 一 种 
黑 盒 白 盒 混 合用 例 设计 方法 。 

功能 图 方法 中 ,要 用 到 的 逻辑 覆盖 和 路 径 测试 的 概念 和 方法 ,就 是 白 盒 测试 方法 ; 而 确 
定 输入 数据 序列 及 相应 的 输出 数据 , 则 是 黑 盒 测 试 方法 。 


2.3.8 黑 盒 测试 方法 使 用 策略 


在 使 用 黑 盒 测 试 方式 时 ,只 有 结合 被 测 软件 的 特点 ,有 选择 地 使 用 若干 种 方法 ,才能 达 
到 良好 的 测试 效果 。 

黑 盒 测试 方法 的 综合 使 用 策略 如 下 : 

(1) 首先 进行 等 价 类 划分 ,等 价 类 划分 也 常 是 边界 值 方法 的 基础 。 

(2) 在 任何 情况 下 都 必须 使 用 边界 值 分 析 方法 。 经 验 表明 用 这 种 方法 设计 出 的 测试 用 
例 发 现 程序 错误 的 能 力 最 强 。 

(3) 测试 人 员 可 以 根据 经 验 用 错误 推测 法 追加 一 些 测试 用 例 。 

(4) 如 果 程 序 的 功能 说 明 中 含有 输入 条 件 的 组 合 情 况 , 则 可 选用 因果 图 法 和 判定 表 法 。 

C) 对 于 参数 配置 类 的 软件 ,要 用 正 交 试 验 法 选择 较 少 的 组 合 方式 达到 最 佳 效 果 。 

C6) 对 于 业务 流 清晰 的 系统 ,可 以 利用 场景 法 。 

CO 程序 的 功能 较 复杂 ,存在 大 量 组 合 情 况 时 ,可 考虑 功能 图 法 。 


@.4 白 盒 测试 概述 


2.4.1 HAWKER 


白 盒 测试 (White-box Testing) 也 称 结构 测试 .逻辑 驱动 测试 。“ 白 盒 " 将 程序 形象 地 比 
喻 为 放 在 一 个 透明 的 盒子 里 , 故 测试 人 员 了 解 被 测 程序 的 内 部 结构 。 测 试 人 员 利 用 程序 的 
内 部 逻辑 结构 和 相关 信息 ,对 程序 的 内 部 结构 和 路 径 进 行 测试 ,检验 其 是 否 达 到 了 预期 的 设 
计 要 求 。 白 盒 测试 是 从 程序 设计 者 的 角度 进行 的 测试 。 

白 盒 方法 和 黑 盒 方法 一 样 ,也 不 能 做 到 穷 举 测试 。 这 是 因为 程序 的 结构 往往 是 复杂 的 ， 
程序 中 很 难 完全 不 出 现 选择 结构 和 循环 结构 , 当 程序 中 出 现 了 选择 结构 和 循环 结构 时 ,程序 
中 的 路 径 数 目 将 大 大 增加 。 如 果 选 择 结构 .选择 结构 自身 和 循环 结构 、 循 环 结构 自身 再 出 现 
[SM GUEST 

白 盒 测试 是 一 项 技术 含量 很 高 的 工作 ,测试 人 员 采 用 白 盒 测试 方法 设计 测试 用 例 时 , 必 
须 在 仔细 研究 程序 的 内 部 结构 的 基础 上 ,从 数量 极 大 的 可 用 测试 用 例 中 精心 挑选 尽 可 能 少 
的 测试 用 例 , 来 覆盖 程序 的 内 部 结构 。 

白 盒 测试 的 目的 是 通过 检查 软件 内 部 的 逻辑 结构 ,对 软件 中 的 逻辑 路 径 进 行 覆 盖 测 试 ， 
在 程序 的 不 同 地 方 设立 检查 点 ,检查 程序 的 状态 ,以 确定 实际 运行 状态 与 预期 状态 是 否 
= 

白 盒 测 试 是 针对 被 测 单元 内 部 如 何 进 行 工作 的 测试 。 白 盒 测 试 的 主要 方法 有 程序 结构 
分 析 、 程 序 迎 辑 覆盖 、 基 本 路 径 测试 ,软件 规范 性 检查 等 。 它 根据 程序 的 控制 结构 设计 导出 
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其 测试 用 例 ,并 主要 用 于 程序 验证 。 白 盒 测试 全 面 了 解 程序 的 内 部 逻辑 结构 ,对 所 有 逻辑 路 
径 进行 测试 。 因 为 对 于 不 同 复杂 度 的 代码 逻辑 ,可 以 衍生 出 许多 种 执行 路 径 , 只 有 选用 适当 
的 测试 方法 ,才能 帮助 测试 者 找到 正确 方向 。 在 使 用 白 盒 测试 方法 时 ,测试 者 必须 检查 程序 
的 内 部 结构 ,从 检查 程序 的 逻辑 着 手 , 得 出 测试 的 数据 。 

白 盒 测试 的 特点 : 

。 依据 软件 设计 说 明 进行 。 

。 对 程序 内 部 细节 严密 检验 。 

。 针对 特定 条 件 设计 测试 用 例 。 

。 对 软件 逻辑 路 径 进 行 覆盖 测试 。 

白 盒 测试 方法 遵循 的 原则 : 

。 保证 一 个 模块 中 的 所 有 独立 路 径 至 少 被 测试 一 次 。 

。 所 有 逻辑 值 均 需 测试 真 CTrue) 和 假 (False) 两 种 情况 。 

。 检查 程序 的 内 部 数据 结构 ,保证 其 结构 的 有 效 性 。 

。 在 上 下 边界 及 可 操作 范围 内 运行 所 有 循环 。 


2.4.2 B EU UL GR Ex 


与 黑 盒 测 试 相 比 , 白 盒 测试 深入 到 程序 的 内 部 进行 测试 ,更 易于 定位 错误 的 原因 和 具体 
位 置 ,弥补 了 黑 盒 测试 只 能 从 程序 外 部 进行 测试 的 不 足 。 

白 盒 测试 也 有 其 局 限 性 ,即使 白 盒 测试 覆盖 了 程序 中 的 所 有 路 径 , 仍 不 一 定 能 发 现 程序 
中 的 全 部 错误 。 这 是 因为 : 白 盒 测试 不 能 查 出 程序 中 的 设计 缺陷 ; 白 盒 测试 不 能 查 出 程序 
是 否 遗 漏 了 功能 或 路 径 ; 白 盒 测试 可 能 发 现 不 了 一 些 与 数据 相关 的 错误 。 


2.4.3 ”和 白 盒 测试 方法 


白 盒 测试 的 方法 总 体 上 分 为 静态 方法 和 动态 方法 两 大 类 。 

静态 分 析 是 一 种 不 执行 程序 而 进行 测试 的 技术 。 静 态 分 析 的 关键 功能 是 检查 软件 的 表 
示 和 描述 是 否 一 致 ,有 没有 冲突 或 歧义 。 

动态 分 析 的 主要 特点 是 当 软 件 系统 在 模拟 的 或 真实 的 环境 中 执行 之 前 ,之 中 和 之 后 ,对 
软件 系统 行为 的 分 析 。 动 态 分 析 包含 了 程序 在 受 控 的 环境 下 使 用 特定 的 期 望 结 果 进 行 正式 
的 运行 。 它 显示 了 一 个 系统 在 检查 状态 下 是 正确 还 是 不 正确 。 在 动态 分 析 技 术 中 ,最 重要 
的 技术 是 路 径 和 分 支 测试 。 

常用 的 白 盒 测 试 方法 有 代码 检查 法 ,静态 结构 分 析 法 、 质 量度 量 法 逻辑 覆 盖 法 .基本 路 径 测 
试 法 \ 域 测试 .符号 测试 .Z 路 径 测试 ,程序 变异 等 。 其 中 运用 最 为 广泛 的 是 基本 路 径 测试 法 。 


@.5 典型 白 盒 测试 方法 


2.5.1 逻辑 覆盖 测试 
逻辑 覆盖 是 以 程序 内 部 的 逻辑 结构 为 基础 的 设计 测试 用 例 的 技术 ,是 通过 对 程序 逻辑 
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结构 的 遍历 实现 程序 的 覆盖 , 它 是 一 系列 测试 过 程 的 总 称 。 这 一 方法 要 求 测试 人 员 对 程序 


的 逻辑 结构 有 清楚 的 了 解 ,甚至 要 能 掌握 源 程序 的 所 有 if((A»1)and(B-0)) 
细节 。 then X-X/A 
从 覆盖 源 程序 语句 的 详细 程度 分 析 , 逻 辑 覆盖 标准 eM 


有 : 语句 覆盖 、 判 定 覆盖 条 件 覆 盖 、 判 定 条 件 覆 盖 、 条 


件 组 合 覆 盖 和 修正 条 件 判定 覆盖 等 。 
我 们 使 用 如 下 程序 片段 来 讲解 各 种 覆盖 标准 , 伪 代 | b 


X=X/A 
码 和 流程 图 如 图 2-11 所 示 。 


1. 语句 覆盖 
语句 覆盖 (Statement Coverage) 的 含义 是 : 设计 足 


够 多 的 测试 用 例 ,使 被 测 程序 中 的 每 条 可 执行 语句 至 少 
执行 一 次 。 语 句 覆盖 也 称 为 点 覆盖 。 D 

对 示例 程序 , 若 要 做 到 语句 覆盖 ,程序 的 执行 路 径 图 2-11 程序 代码 及 流程 图 
应 是 ace, 为 此 可 设计 如 下 的 测试 用 例 ( 注 意 : A、B、X 
的 值 在 这 里 为 输入 值 ,严格 说 来 ,测试 用 例 还 应 包括 预期 输出 ,在 此 省 略 , 下 同 ): 

A=2,B=0,X=4 

语句 覆盖 是 一 种 很 弱 的 逻辑 覆盖 标准 , 它 对 程序 的 逻辑 覆盖 很 少 。 对 于 示例 程序 ,语句 

盖 只 覆盖 了 两 个 判断 为 真 的 情况 , 若 某 个 判定 的 结果 为 假 , 则 对 应 的 操作 有 错 也 不 会 通过 

语句 覆盖 发 现 。 此 外 ,语句 覆盖 只 关心 判定 的 结果 ,没有 考虑 判定 中 的 条 件 及 条 件 之 间 的 逻 
辑 关系 ,车 程序 中 的 “and” 错 写成 “or”,“or” 错 写成 “and”, 或 者 判定 中 的 条 件 “X 二 1” 错 写成 
“X<1”, 都 不 可 能 通过 A—2.B—0.X—4 这 组 测试 用 例 发 现 。 


2. 判定 覆盖 


判定 覆盖 (Decision Coverage) 的 含义 是 : 设计 足够 多 的 测试 用 例 , 使 被 测 程序 中 的 每 
个 判定 取 到 每 种 可 能 的 结果 , 即 覆 盖 每 个 判定 的 所 有 分 支 。 也 就 是 使 程序 中 的 每 个 取 “ 真 ” 
分 支 和 取 “ 假 ”分支 至 少 均 经 历 一 次 ,也 称 为 分 支 履 盖 。 显 然 ,车 实现 了 判定 覆盖 , 则 必然 实 
现 了 语句 覆盖 ,判定 覆盖 是 一 种 强 于 语句 覆盖 的 覆盖 标准 。 

要 实现 对 示例 程序 的 判定 覆盖 , 则 需 覆 盖 路 径 ace 和 abd. sk si acd 和 abe 两 条 路 径 。 
设计 两 组 测试 用 例如 下 : 

A—3,B—0.X—3 CH st HET ace) 

A=2,B=1,X=1 CH s RETE abd) 

判定 覆盖 对 程序 的 覆盖 程度 仍 不 高 EE SE P A IE" X UU RSR X<” 0S PSI E 
A3. 

3. 条 件 覆盖 


条 件 覆 盖 (Condition Coverage) 的 含义 是 : 设计 足够 多 的 测试 用 例 ,使 被 测 程序 中 的 每 
个 条 件 取 到 各 种 可 能 的 结果 。 
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对 示例 程序 ,考虑 包含 在 两 个 判定 中 的 4 个 条 件 ,每 个 条 件 均 可 取 真 假 两 种 值 。 若 要 实 
现 条 件 覆 盖 ,应 使 以 下 8 种 结果 成 立 : 

ADI.LAKIB-0,BZ0,A—2.Az2,X^1,X«1 

设计 测试 用 例如 下 : 

A—2,B—0,X—4(Bll3i A>1,B=0,A=2,X>1, {íT K ace) 

A=1,B=1,X=1( H% A«1,B750, A2, X1. {íT íZ abd) 

这 两 个 测试 用 例 不 但 覆盖 了 4 个 条 件 的 8 种 情况 ,而 且 覆 盖 了 两 个 判定 的 4 个 分 支 , 即 
同时 达到 了 条 件 覆盖 和 判定 覆盖 。 但 是 ,并 不 是 说 满足 条 件 覆 盖 就 一 定 能 够 满足 判定 覆盖 ， 
下 面 通过 另外 两 组 测试 用 例 来 说 明 这 一 点 。 

A=1,B=0,X=3( 覆 盖 A<1,B=0, A#2,X>1, 3A 19 abe) 

A=1,B=1,X=1( 覆 盖 A<1,B#0,A#2,X<1 , JA abd) 


4. 判定 条 件 覆 盖 


判定 条 件 覆 盖 要 求 设 计 足 够 的 测试 用 例 ,使 得 每 个 条 件 取 到 各 种 可 能 的 结果 , 且 每 个 判 
定 取 到 各 种 可 能 的 结果 。 若 实现 了 判定 条 件 覆 盖 , 则 必然 也 实现 了 判定 覆盖 和 条 件 覆 盖 。 
对 示例 程序 ,车 要 实现 判定 条 件 覆 盖 , 可 设计 如 下 两 组 测试 用 例 : 
A=2,B=0,X=4( 覆 盖 A 1,B—0,A—2,X 1.413 ace) 
A—1.B—1.X—1Gl st A<1、B 关 0、A 关 2、X 壹 1, 执行 路 径 abd) 


5. 条 件 组 合 覆盖 


当 某 个 判定 中 存在 多 个 条 件 时 ,仅仅 考虑 单个 条 件 的 取 值 是 不 够 的 ,条 件 组 合 覆 盖 的 含 
义 是 : 设计 足够 多 的 测试 用 例 , 使 被 测 程序 中 每 个 判定 的 所 有 条 件 取 值 组 合 都 至 少 出 现 
一 次 。 

对 示例 程序 , 若 要 实现 条 件 组 合 覆 盖 , 应 使 如 下 的 8 种 条 件 取 值 组 合 至 少 出 现 一 次 : 

(D A>1,B=0 © A>1,B#0 


G A<1,B=0 @ A«1.Bz50 
© A=2,X>1 © A—2.X«1 
©® Az2,X>1 ©® Az2.X«1 


为 覆盖 此 8 种 组 合 ,可 设计 如 下 的 4 组 测试 用 例 : 

A—2.B—0.X—4CG si D 、@ 两 种 组 合 ,执行 路 径 ace) 

A—2,B—1.X—1G8 3: O OMAA ,执行 路 径 abd) 

A=1,B=0,X=2 HMO OMHE .执行 路 径 abe) 

A 二 1,B 二 1,X==1( 覆 盖 @、@ 两 种 组 合 .执行 路径 abe) 

对 某 被 测 程序 , 若 实现 了 条 件 组 合 覆盖 , 则 一 定 实现 了 判定 覆盖 条件 覆盖 及 判定 条 件 
覆盖 。 但 条 件 组 合 覆 盖 不 一 定 能 覆盖 程序 中 的 每 条 路 径 , 如 上 述 4 组 测试 用 例 就 没有 覆盖 
到 路 径 acd。 


6. 修正 条 件 判 定 覆盖 
修正 条 件 判定 覆盖 是 由 欧美 的 航空 /航天 制作 厂商 和 使 用 单位 联合 制定 的 “航空 运输 和 
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装备 系统 软件 认证 标准 ”, 目 前 在 国外 的 国防 、 航 空 航天 领域 应 用 广泛 。 这 个 覆盖 度量 需要 
足够 的 测试 用 例 来 确定 各 个 条 件 能 够 影响 到 包含 的 判定 结果 。 它 要 求 满足 两 个 条 件 : 首 
先 ,每 一 个 程序 模块 的 入 口 和 出 口 点 都 要 考虑 至 少 被 调用 一 次 ,每 个 程序 的 判定 到 所 有 可 能 
的 结果 值 要 至 少 转换 一 次 ; 其 次 ,程序 的 判定 被 分 解 为 通过 逻辑 操作 符 (and、or) 连 接 的 
bool 条 件 ,每 个 条 件 对 于 判定 的 结果 值 是 独立 的 。 

实现 修正 条 件 判定 覆盖 ,需要 付出 极 大 的 成 本 (通常 能 够 支持 修正 条 件 判定 覆盖 的 测试 
工具 价格 极其 昂贵 ) 。 


7. Z 路 径 覆盖 


Z 路 径 覆盖 是 路 径 覆 盖 的 一 种 变 体 。 路 径 覆 盖 是 白 盒 测 试 最 为 典型 的 问题 。 着 眼 于 路 
径 分 析 的 测试 可 称 为 路 径 测试 。 完 成 路 径 测试 的 理想 情况 是 做 到 路 径 覆 盖 。 对 于 比较 简单 
的 小 程序 ,实现 路 径 覆 盖 是 可 以 做 到 的 。 但 是 如 果 程 序 中 出 现 较 多 判断 和 较 多 循环 ,可 能 的 
路 径 数 据 将 会 急剧 增长 ,达到 一 个 巨大 的 数字 ,以 至 不 可 能 做 到 实现 路 径 覆盖 。 

为 了 解决 这 一 问题 ,必须 舍 掉 一 些 次 要 因素 ,对 循环 机 制 进 行 简化 ,从 而 极 大 地 减少 路 
径 的 数量 ,使 得 覆盖 这 些 有 限 的 路 径 成 为 可 能 。 因 此 , 称 简化 循环 意义 上 的 路 径 覆盖 为 Z 
路 径 覆 盖 。 

这 里 所 说 的 对 循环 化 简 是 指 限 制 循环 的 次 数 。 无 论 循环 的 形式 和 实际 执行 循环 体 的 次 
数 是 多 少 , 只 考虑 循环 一 次 和 零 次 两 种 情况 , 即 只 考虑 执行 时 进入 循环 体 一 次 和 跳 过 循环 体 
这 两 种 情况 。 

对 于 程序 中 的 所 有 路 径 , 可 以 用 路 径 树 表示 。 当 得 到 某 一 程序 的 路 径 树 后 ,从 其 根 节点 
开始 ,一 次 遍历 ,再 回 到 根 节点 时 ,把 所 经 历 的 叶 节点 名 排列 起 来 ,就 得 到 一 个 路 径 。 如 果 测 
试 设法 遍历 了 所 有 的 叶 节 点 , 那 就 得 到 了 所 有 路 径 。 

当 得 到 所 有 路 径 后 ,生成 每 个 路 径 的 测试 用 例 ,就 可 以 做 到 Z 路 径 覆 盖 的 测试 。 


8. ESTCA 覆盖 


逻辑 覆盖 其 出 发 点 似乎 是 合理 的 。 所 谓 * 覆 盖 ”, 就 是 想 要 做 到 全 面 , 而 无 遗漏 。 但 事实 
表明 , 它 并 不 能 真 的 做 到 无 遗漏 。 面 对 这 类 情况 我 们 应 该 从 中 吸取 的 教训 是 测试 工作 要 有 
重点 ,要 多 针对 容易 发 生 问题 的 地 方 设计 测试 用 例 。 

测试 专家 从 测试 工作 实践 的 教训 出 发 ,吸收 了 计算 机 硬件 的 测试 原理 ,提出 了 一 种 经 验 
型 的 测试 覆盖 准则 , 较 好 地 解决 了 上 述 问题 。 硬 件 测 试 中 ,对 每 一 个 门 电路 的 输入 、 输 出 测 
试 都 是 有 额定 标准 的 。 通 常 ,电路 中 一 个 门 的 错误 常常 是 “输出 总 是 0”, 或 是 “输出 总 是 1”。 
与 硬件 测试 中 的 这 一 情况 类 似 ,我 们 常常 要 重视 程序 中 谓词 的 取 值 ,但 实际 上 它 可 能 比 硬件 
测试 更 加 复杂 。 通 过 大 量 实 验 ,测试 专家 确定 了 程序 中 谓词 最 容易 出 错 的 部 分 ,得 出 一 套 错 
误 敏 感 测试 用 例 分 析 ESTCA(Error Sensitive Test Cases Analysis) #0 

[规则 1] ”对 于 A rel B(rel 可 以 是 二 ,= 和 >) 型 的 分 支 谓词 ,应 适当 地 选择 A 与 B 的 
值 , 使 得 测试 执行 到 该 分 支 语句 时 ,A<B,A=B 和 A>>B 的 情况 分 别 出 现 一 次 。 

[规则 2] 对 于 A rell CGell 可 以 是 或 是 二 ,A 是 变量 ,C 是 常量 ) 型 的 分 支 谓词 , 当 
rell 为 二 时 ,应 适当 地 选择 A 的 值 , 使 A—C—MCOM 是 距 C 最 小 的 容器 容许 正 数 ,车 A 和 C 
均 为 整 型 时 ,M 王 1) 。 同 样 , 当 rell 为 之 时 ,应 适当 地 选择 A, 使 A— CM, 
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[规则 3] 对 外 部 输入 变量 赋值 ,使 其 在 每 一 测试 用 例 中 均 有 不 同 的 值 与 符号 ,并 与 同 
一 组 测试 用 例 中 其 他 变量 的 值 和 符号 不 一 致 。 

显然 ,上 述 规则 1 是 为 了 检测 rel 的 错误 ,规则 2 是 为 了 检测 “ 差 一 ”之 类 的 错误 (如 本 应 
是 “IF A > 1” 而 错 成 “IF A > 0”) ,而 规则 3 则 是 为 了 检测 程序 语句 中 的 错误 (如 应 是 “ 引 
用 变量 ”而 错 写 成 “引用 常量 ”) 。 

上 述 三 规则 并 不 是 完备 的 ,但 在 普通 程序 的 测试 中 是 有 效 的 。 原 因 在 于 规则 本 身 针 对 
程序 编写 人 员 容 易 发 生 的 错误 ,或 是 围绕 着 发 生 错 误 的 频繁 区 域 , 从 而 提高 了 发 现 错误 的 命 
中 率 。 


9. 层次 LCSAJ 覆盖 


LCSAJ 覆盖 (Linear Code Sequence and Jump Coverage) 的 字面 含义 是 线性 代码 顺序 
和 跳 转 覆盖 ,是 一 套 覆 盖 率 准则 。 一 个 LCSAJ 是 一 组 顺序 执行 的 代码 ,以 控制 流 跳 转 为 其 
结束 点 。 它 的 定义 如 下 : 它 起 始 于 程序 的 入 口 或 者 是 一 个 可 能 导致 控制 流 跳 转 的 点 ; 它 结 
束 于 程序 的 出 口 或 者 是 一 个 可 能 导致 控制 流 跳 转 的 点 ; 对 于 该 点 ,一 个 跳 转 在 后 面 的 序列 
中 产生 。 

LCSAJ 的 起 点 是 根据 程序 本 身 决定 的 。 它 的 起 点 是 程序 第 一 行 或 转移 语句 的 入 口 点 ， 
或 是 控制 流 可 以 跳 转 到 达 的 点 。 因 此 , 几 个 LCSAJ 首尾 相 接 构成 LCSAL 串 , 组 成 程序 的 
一 条 路 径 。 第 一 个 LCSAJ 起 点 为 程序 起 点 ,最 后 一 个 LCSAJ 终点 为 程序 终点 。 一 条 程序 
路 径 可 能 是 由 两 个 .三 个 或 多 个 LCSAJ 组 成 的 。 基 于 LCSAJ 与 路 径 的 这 一 关系 ,测试 专家 
提出 了 LCSAJ 覆盖 准则 ,这 是 一 个 分 层 的 覆盖 准则 ,可 以 这 样 来 描述 : 

第 一 层 : 语句 覆盖 

第 二 层 : 分 支 覆盖 。 

第 三 层 : LCSAJ 覆盖 。 即 程序 中 的 每 一 个 LCSAJ 都 至 少 在 测试 中 经 历 过 一 次 。 

第 四 层 : 两 两 LCSAJ 覆盖 。 即 程序 中 每 两 个 首尾 相连 的 LCSAJ 组 合 起 来 在 测试 中 都 
要 经 历 一 次 。 

第 n 十 2 层 : 每 n 个 首尾 相连 的 LCSAJ 组 合 在 测试 中 都 要 经 历 过 一 次 。 

这 说 明了 , 越 是 高 层 的 覆盖 准则 越 难 满 足 。 尽 管 LCSAJ 覆盖 要 比 判 定 覆 盖 复 杂 的 多 ， 
但 是 LCSAJ 的 自动 化 相对 来 说 还 是 容易 获得 的 。 另 外 ,对 一 个 模块 的 微小 的 变动 可 能 会 对 
LCSAJ 产生 重大 影响 ,因此 维护 LCSAJ 的 测试 数据 是 相当 困难 的 。 一 个 大 模块 包含 极其 
庞大 的 LCSAJ ,因此 要 获得 100% 的 覆盖 率 也 是 不 现实 的 。 然 而 测试 专家 提供 的 证 据 表明 ， 
把 测试 100% 的 LCSAJ 作为 目标 比 100% 的 判定 覆盖 要 有 效 的 多 。 


10. 面向 对 象 的 覆盖 


传统 的 结构 化 度量 没有 考虑 面向 对 象 的 一 些 特 性 ,如 多 态 .继承 和 封装 等 。 传 统 的 结构 
化 覆盖 必须 被 加 强 , 以 满足 面向 对 象 特性 ,上 下 文 覆 盖 就 是 一 种 针对 面向 对 象 特性 而 增强 的 
LEM 

上 下 文 覆盖 可 以 应 用 到 面向 对 象 领域 处 理 诸如 多 态 ,继承 和 封装 的 特性 ,同时 该 方法 也 
可 以 被 扩展 用 于 多 线程 应 用 。 通 过 使 用 这 些 面向 对 象 的 上 下 文 覆盖 ,结合 传统 的 结构 化 覆 
盖 的 方法 就 可 以 保证 代码 的 结构 被 完整 地 执行 ,同时 提高 对 被 测 软件 质量 的 信心 。 
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有 三 个 面向 对 象 上 下 文 覆盖 地 定义 ,它们 分 别 是 : 

CD 继承 上 下 文 覆盖 (Inheritance Context Coverage) , 指 上 下 文 内 执行 到 的 判定 分 支 数 
据 量 占 程序 内 判定 的 总 数 的 百分比 。 该 覆盖 率 用 于 度量 在 系统 中 的 多 态 调 用 被 测试 得 
多 好 。 

(2) 基于 状态 的 上 下 文 覆盖 (State-Based Context Coverage) ,该 覆盖 用 于 改进 对 带 有 
状态 依赖 行为 的 类 的 测试 。 

(3) 已 定义 用 户 上 下 文 覆盖 (User-Defined Context Coverage) ,该 度量 允许 上 下 文 覆盖 
的 方法 被 应 用 到 传统 结构 化 覆盖 率 无 法 使 用 的 地 方 ,例如 多 线程 应 用 。 


2.5.2 基本 路 径 测试 


基本 路 径 测试 法 是 在 程序 控制 流 图 的 基础 上 ,通过 分 析 控 制 构造 的 环 路 复杂 性 ,导出 基 
本 可 执行 路 径 集合 ,从 而 设计 测试 用 例 的 方法 。 

设计 出 的 测试 用 例 要 保证 在 测试 中 程序 的 每 个 可 执行 请 句 至 少 执行 一 次 , 即 达 到 请 句 
覆盖 100% 和 条 件 覆盖 100%. 

对 于 复杂 性 大 的 程序 要 实现 所 有 路 径 覆 盖 ( 测 试 所 有 可 执行 路 径 ) 是 不 可 能 的 ,因此 , 若 
某 一 程序 的 每 一 个 独立 路 径 都 被 测试 过 ,那么 可 以 认为 程序 中 的 每 个 语句 都 已 经 检验 过 了 ， 
即 达到 了 请 句 覆盖 。 这 种 测试 方法 就 是 通常 所 说 的 基本 路 径 测试 方法 。 某 一 程序 的 独立 路 
径 是 指 从 程序 入 口 到 出 口 的 多 次 执行 中 ,每 次 至 少 有 一 个 语句 集 (包括 运算 、 赋 值 输入 输出 
或 判断 ) 是 新 的 和 未 被 重复 的 。 

在 程序 控制 流 图 的 基础 上 ,通过 分 析 控 制 构造 的 环 路 复杂 性 ,导出 基本 可 执行 路 径 集 
合 , 从 而 设计 测试 用 例 。 


1. 程序 控制 流 图 
在 进行 测试 设计 时 ,为 了 能 更 突出 程序 控制 流 的 结构 ,可 对 程序 的 流程 图 进行 简化 , 简 
化 之 后 得 到 的 图 形 称 为 程序 控制 流 图 。 图 中 涉及 两 者 符号 : 节点 和 控制 流 线 。 


节点 代表 一 条 或 顺序 执行 的 多 条 语句 ,有 向 箭头 称 为 边 ,代表 控制 流 。 图 2-12 是 程序 
的 5 种 基本 结构 的 流 图 画 法 。 


o—o o o 


顺序 语句 While 循环 Until 循环 


p g 


下 选择 结构 Case 多 分 支 结构 
图 2-12 5 种 基本 结构 的 流 图 
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在 将 程序 流程 图 转化 成 控制 流 图 时 ,应 注意 以 下 原则 : 

t 分 支 汇聚 处 应 有 一 个 汇聚 节点 。 

。 边 和 节点 圈定 的 范围 叫做 区 域 , 当 对 区 域 计数 时 ,图 形 外 的 范围 应 算 做 一 个 区 域 。 

。 若 程序 有 复合 条 件 , 则 必须 将 其 分 解 为 多 个 嵌 套 的 简单 条 件 ( 包 含 简单 条 件 的 节点 

被 称 为 判定 节点 ,也 叫 谓词 节点 ) ,并 映射 成 控制 流 图 。 

谓词 节点 就 是 不 含 复合 判定 条 件 的 节点 ,分 支 判 断 节 点 和 循环 判断 节点 都 可 能 是 谓词 
节点 。 程 序 (或 流程 图 ) 中 的 复合 条 件 ,应 转化 为 多 个 简单 条 件 判断 ,在 流 图 中 用 相应 的 谓词 
节点 加 以 表示 。 

如 图 2-13 所 示 的 流程 图 ,图 中 的 判定 含有 两 个 条 件 , 即 为 复合 条 件 判 断 , 故 将 此 判断 在 
控制 流 图 中 用 两 个 谓词 节点 表示 。 


了 
X X: 


(a) 流程 图 (b) 控制 流 图 
图 2-13 程序 流程 图 和 控制 流 图 


以 如 下 C 程序 为 例 ,进行 基本 路 径 测 试 。 程 序 中 每 行 开 头 的 数字 (1 一 17) 是 对 每 条 请 
句 的 编号 。 画 出 对 应 的 程序 流程 图 和 控制 流 图 ,如 图 2-14 所 示 。 可 以 看 到 ,控制 流 图 突出 
描述 程序 控制 流 变化 ,不 改变 程序 控制 流 的 顺序 节点 可 以 忽略 ,如 程序 流程 图 中 的 节点 2、 
3、14 等 并 没有 在 控制 流 图 中 出 现 。 


void Sort( int iRecordNum, int iType) 


1 í 

2 int x= 0; 

3 int y= 0; 

4 while (iRecordNum -- > 0) 
5 { 

6 if(iType == 0) 

7 x=y+2; 

8 else 

9 if(iType--1) 
10 x-y*10; 
11 else 

12 { 

13 x-y*20; 
14 y-ytt; 
15 ] 

16 } 
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(a) 流程 图 (b) 控制 流 图 


2-14 程序 流程 图 和 控制 流 图 


2. 计算 环 路 复杂 度 


环 路 复杂 度 是 一 种 为 程序 逻辑 复杂 性 提供 定量 测度 的 软件 度量 ,可 以 将 该 度量 用 于 计 
算 程序 的 基本 独立 路 径 数目 。 环 路 复杂 度 给 出 了 程序 基本 路 径 集合 中 的 独立 路 径 的 条 数 ， 
是 确保 所 有 语句 至 少 执行 一 次 的 测试 数量 的 上 界 。 独 立 路 径 是 指 包 括 若干 未 曾 处 理 的 语句 
或 条 件 的 一 条 路 径 。 

可 以 用 以 下 三 种 方法 计算 环 路 复杂 度 : 

(1) 控制 流 图 中 的 区 域 数 对 应 于 环 路 复杂 性 定义 。 

(2) 设 无 为 控制 流 图 的 边 数 ,N 为 图 的 节点 数 , 则 定义 环 路 的 复杂 性 为 V(G)= 尼 一 N 十 2。 

(3) 若 设 P 为 控制 流 图 中 的 谓词 节点 数 , 则 有 V(G) 王 P 二 1。 

对 示例 程序 计算 环 路 复杂 度 。 

方法 一 : 控制 流 图 有 4 个 区 域 ,Z1、Z2、Z3 和 Z4,V(G) 一 4。 

方法 二 : V(G)==E 一 N 十 2 二 11( 边 数 ) 一 9( 节 点 数 ) 十 2 二 4。 

方法 三 : 判断 节点 有 3 个 ,节点 4、 节 点 6 和 节点 9,V(G) 二 P 十 1=3 十 1 二 4。 

因此 ,该 程序 环 路 复杂 度 是 4。 基 本 路 径 集 中 有 4 条 独立 路 径 。 


3. 导出 基本 路 径 集 


根据 上 面 的 计算 方法 ,导出 基本 路 径 集 , 列 出 程序 的 独立 路 径 , 可 得 出 程序 的 基本 路 径 
集中 有 4 条 独立 路 径 。 

路 径 1: 4 一 6 一 7 一 16 一 4 一 … 

路 径 2: 4 一 6 一 9 一 10 一 15 一 16 一 4 

路 径 3: 4 一 6 一 9 一 13 一 15 一 16 一 4 

路 径 4: 4 一 17 
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路 径 1.2、3 后 的 省 略 号 表示 路 径 中 的 后 续 节 点 将 重复 出 现 , 对 于 测试 用 例 的 设计 并 不 
重要 。 


4. 设计 测试 用 例 


jm 
d 


根据 上 述 独立 路 径 ,设计 测试 用 例 表 ,如 表 2-20 所 示 。 
表 2-20 测试 用 例 表 


编 号 输 入 数据 预期 输出 LES Ec 
测试 用 例 1 Recordi z=2 路 径 1 
iType=0 y=0 
测试 用 例 2 Recording z=10 路 径 2 
iType=1 y=0 
测试 用 例 3 RN zx=20 路 径 3 
iType 一 2 3 一 1 
测试 用 例 4 ieconiNum--o z=0 路 径 4 
iType=0 y=0 
2.5.8 程序 插 桩 
1. 程序 插 桩 


程序 插 桩 是 借助 在 被 测 程序 中 进行 插入 操作 ,来 实现 测试 目的 的 方法 。 

我 们 在 调试 程序 时 ,常常 要 在 程序 中 插入 一 些 打 印 语句 ,希望 执行 程序 时 打印 出 我 们 关 
心 的 信息 ,进而 通过 这 些 信息 了 解 执 行 过 程 中 程序 的 一 些 动态 特性 。 比 如 ,程序 的 实际 执行 
路 径 , 特 定 变 量 在 特定 时 刻 的 取 值 等 。 从 这 一 思想 发 展 出 的 程序 插 桩 技术 能 够 按 用 户 的 要 
求 , 获 取 程 序 的 各 种 信息 ,成 为 测试 工作 的 有 效 手 段 。 

程序 搬 桩 是 在 不 破坏 被 测试 程序 原 有 逻辑 完整 性 的 前 提 下 ,在 程序 的 相应 位 置 上 插入 
一 些 控 针 。 这 些 探 针 本 质 上 就 是 进行 信息 采集 的 代码 段 , 可 以 是 赋值 语句 或 采集 覆盖 信息 
的 函数 调用 。 通 过 探 针 的 执行 并 输出 程序 的 运行 特征 数据 。 基 于 对 这 些 特征 数据 的 分 析 ， 
揭示 程序 的 内 部 行为 和 特征 。 

如 果 我 们 想 了 解 一 个 程序 在 某 次 运行 中 所 有 可 执行 语句 被 覆盖 的 情况 ,或 是 每 个 语句 
的 实际 执行 次 数 ,最 好 的 办 法 就 是 利用 插 桩 技术 。 下 面 以 计算 整数 X 和 YY 的 最 大 公约 数 为 
例 ,说 明 插 桩 方法 的 要 点 。 图 2-15 是 这 一 程序 的 流程 图 ,图 中 虚线 框 并 不 是 源 程序 的 内 容 ， 
而 是 为 了 记录 语句 执行 次 数 而 插入 的 。 

虚线 框 代码 实现 计数 功能 ,其 形式 为 : 

CG) 一 CG) 十 1 i21,2,-,6 

在 程序 特定 部 位 插入 记录 动态 特性 的 语句 ,最终 是 为 了 把 程序 执行 过 程 中 发 生 的 一 些 
重要 事件 记录 下 来 。 例 如 ,记录 在 程序 执行 过 程 中 某 些 变量 值 的 变化 情况 、 变 化 范围 等 。 又 
如 程序 逻辑 覆盖 情况 ,也 只 有 通过 程序 的 插 桩 才能 取得 覆盖 信息 。 实 践 表 明 ,程序 插 桩 方法 
是 应 用 很 广 的 技术 ,特别 是 在 完成 程序 的 测试 和 调试 时 非常 有 效 。 

设计 插 桩 程序 时 需要 考虑 的 问题 包括 : 
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CD 探测 哪些 信息 。 

(2) 在 程序 的 什么 部 位 设置 探测 点 。 

(3) 需要 设置 多 少 个 探测 点 。 
其 中 前 两 个 问题 需要 结合 具体 情况 解决 ,并 不 能 给 出 笼统 的 回答 。 第 3 个 问题 需要 考虑 如 
何 设 置 最 少 探测 点 的 方案 。 例 如 ,在 上 例 中 的 程序 人 口 处 , 若 要 记录 请 句 Q=X 和 R=Y 的 
执行 次 数 ,只 需 插入 CG1) — COD 1 就 够 了 ,没有 必要 在 每 个 语句 之 后 都 插入 技术 语句 ， 
需要 针对 程序 的 控制 结构 进行 具体 分 析 。 这 里 列举 出 一 些 设置 计数 语句 的 部 位 : 

(1) 第 一 个 可 执行 语句 前 。 

(2) 函数 调用 之 后 。 

(3) 循环 开始 后 。 

(4) 判断 分 支 后 。 

(5) 输入 输出 后 。 
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(6) Go to 语句 后 。 
2. 断言 语句 


在 程序 中 特定 部 位 插入 某 些 用 以 判断 变量 特性 的 语句 ,使 得 程序 执行 中 这 些 语句 得 以 
证 实 , 从 而 使 程序 的 运行 特性 得 到 证 实 。 我 们 把 插入 的 语句 称 为 断言 。 这 一 做 法 是 程序 正 
确 性 证 明 的 基本 步骤 ,尽管 算 不 上 严格 ,但 方法 本 身 仍然 是 很 实用 的 。 

编写 代码 时 ,我 们 总 是 会 做 出 一 些 假设 ,断言 就 是 用 于 在 代码 中 捕 提 这 些 假设 的 。 可 以 
将 断言 看 作 是 异常 处 理 的 一 种 高 级 形式 ,断言 表示 为 一 些 布尔 表达 式 ,程序 员 相 信 在 程序 中 
的 某 个 特定 点 该 表达 式 的 值 为 真 。 可 以 在 任何 时 候 启 用 和 禁用 断言 验证 ,因此 可 以 在 测试 
时 启用 断言 而 在 部 署 时 禁用 断言 。 同 样 ,程序 投入 运行 后 ,最 终 用 户 在 遇 到 问题 时 可 以 重新 
启用 断言 。 

使 用 断言 可 以 创建 更 稳定 ,品质 更 好 且 易 于 除 错 的 代码 。 当 需要 在 一 个 值 为 False 时 
中 断 当 前 操作 的 话 , 可 以 使 用 断言 ,单元 测试 时 必须 使 用 断言 来 判断 实际 输出 与 预期 结果 是 
否 一 致 。 除 了 类 型 检查 和 单元 测试 外 ,断言 还 提供 了 一 种 确定 各 种 特性 是 否 在 程序 中 得 到 
维护 的 极 好 的 方法 。 

在 Java 程序 设计 中 ,断言 可 以 有 两 种 形式 : 

(1) assert Expressionl ; 

(2) assert Expressionl : Expression2; 
其 中 Expressionl 应 该 是 一 个 布尔 值 ,Expression2 是 断言 失败 时 输出 的 失败 消息 的 字 
符 串 。 如 果 Expressionl 为 假 , 则 抛 出 一 个 AssertionError 错误 ,并 显示 Expression2 字 
符 串 。 

断言 示例 : 

断言 在 默认 情况 下 是 关闭 的 ,要 在 编译 时 启用 断言 ,需要 使 用 sourcel. 4 标记 , 即 javac 
sourcel. 4 Test. java ,在 运行 时 启用 断言 需要 使 用 -ea 参数 。 要 在 系统 类 中 启用 和 禁用 断 
言 可 以 使 用 -esa 和 -dsa 参数 。 

例如 : 

public class AssertExampleOne( 

public AssertExampleOne()( ) 

public static void main(String args[]) ( 

int x- 10; 

System. out. println("Testing Assertion that x -- 100"); 

assert x= 100: "Out assertion failed!";// 设 置 断言 ,判断 x 是 否 为 100 

System. out. println("Test passed!"); 


} 
j 


如 果 编 译 时 未 加 -sourcel.4, 则 编译 通 不 过 ,在 执行 时 未 加 -ea 时 输出 为 : 


Testing Assertion that x== 100 
Test passed 


JRE 忽略 了 断言 的 旧 代码 ,而 使 用 了 参数 -ea 就 会 输出 为 : 
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Testing Assertion that x== 100 
Exception in thread "main" java. lang.AssertionError: Out assertion failed! 
at AssertExampleOne. main(AssertExampleOne. java:6) 


2.5.4 静态 方法 


静态 测试 包括 代码 检查 .静态 结构 分 析 、 代 码 质量 度量 等 。 它 可 以 由 人 工 进 行 ,充分 发 
挥 人 的 逻辑 思维 优势 ,也 可 以 借助 软件 工具 自动 进行 。 


1. 代码 检查 


代码 检查 包括 代码 桌面 检查 ,代码 审查 、 走 查 等 ,主要 检查 代码 和 设计 的 一 致 性 ,代码 对 
标准 的 遵循 .可 读 性 ,代码 的 逻辑 表达 的 正确 性 ,代码 结构 的 合理 性 等 方面 。 代 码 检查 可 以 
发 现 违背 程序 编写 标准 的 问题 ,程序 中 不 安全 ,不 明确 和 模糊 的 部 分 , 找 出 程序 中 不 可 移植 
部 分 .违背 程序 编程 风格 的 问题 ,包括 变量 检查 、 命 名 和 类 型 审查 程序 逻辑 审查 ,程序 语法 
检查 和 程序 结构 检查 等 内 容 。 

在 实际 使 用 中 ,代码 检查 比 动态 测试 更 有 效率 ,能 快速 找到 缺陷 ,发 现 30% 一 70% 的 俱 
辑 设 计 和 编码 缺陷 ; 代码 检查 看 到 的 是 问题 本 身 而 非 征兆 。 但 是 代码 检查 非常 耗费 时 间 ， 
而 且 代 码 检查 需要 知识 和 经 验 的 积累 。 代 码 检查 应 在 编译 和 动态 测试 之 前 进行 ,在 检查 前 ， 
应 准备 好 需求 描述 文档 ,程序 设计 文档 ,程序 的 源 代码 清单 .代码 编码 标准 和 代码 缺陷 检查 
表 等 。 

1) 桌面 检查 (Desk Checking) 

桌面 检查 是 一 种 传统 的 检查 方法 ,由 编程 人 员 检 查 自己 编写 的 程序 。 编 程 人 员 对 自己 
编写 的 源 代码 进行 分 析 、 检 验 , 或 者 人 工 执行 代码 ,以 尽 可 能 地 发 现 程序 中 的 错误 。 

由 于 编程 人 员 熟 悉 自 己 的 编程 思路 和 程序 逻辑 结构 , 故 桌 面 检查 可 以 节省 检查 时 间 。 
桌面 检查 需要 首先 运行 拼写 检查 器 .语法 检查 器 、 句 法 检查 器 ,或 是 可 以 用 来 帮助 文档 进行 
字面 检查 工作 的 任何 其 他 工具 。 然 后 ,作者 就 可 以 慢 慢 地 复审 文档 来 寻找 文档 中 的 不 一 致 、 
不 完全 和 漏 掉 信 息 的 地 方 。 在 这 个 过 程 中 所 检测 到 的 问题 ,应 该 由 作者 自己 来 进行 直接 修 
改 ,这 当中 可 能 会 需要 项 目 管理 者 或 是 项 目 中 的 其 他 专家 提供 建议 。 一 旦 所 有 的 改正 工作 
完成 ,就 应 该 重新 运行 前 面 所 讲 的 桌面 检查 来 发 现 并 修改 所 有 由 于 修改 内 容 而 引进 的 新 的 
拼写 .语法 和 标点 错误 。 

2) 代码 审查 (Inspection) 

代码 审查 比 桌面 检查 要 正式 ,能 够 发 现 更 多 的 不 足 , 同 时 也 更 费时 。 代 码 审查 由 受过 专 
门 培训 的 主持 人 来 领导 ,并 定义 参与 者 (同行 ) 的 角色 ,有 正式 的 入 口 .出 口 准 则 及 度量 标准 ， 
主要 目的 是 发 现 缺 陷 。 

在 代码 审查 之 前 ,审查 小 组 负责 人 将 设计 规格 说 明 书 ,程序 清单 及 编码 规范 等 分 发 给 小 
组 成 员 ,作为 审查 依据 。 特 别 是 要 给 小 组 的 每 个 成 员 一 份 常见 错误 清单 ,也 称 缺 陷 检 查 表 ， 
它 罗列 了 以 往 编程 中 的 常见 错误 ,并 对 错误 进行 了 分 类 。 

审查 小 组 成 员 在 仔细 阅读 以 上 材料 后 ,进入 正式 的 审查 阶段 , 即 召 开 代码 审查 会 议 。 期 
间 , 编 程 人 员 对 自己 编写 的 程序 逐 句 讲解 ,其 他 组 员 则 可 以 提出 自己 的 疑问 ,进而 展开 讨论 ， 
以 确认 错误 是 否 存 在 。 


61 


MA 


62 


x 


软件 测试 实践 教程 


大 量 实践 表明 ,编程 人 员 在 讲解 自 编程 序 的 过 程 中 ,更 易于 发 现 原先 未 发 现 的 问题 ,而 
小 组 成 员 的 共同 讨论 ,也 有 利于 错误 的 暴露 ,从 而 提高 软件 的 质量 。 

3) 走 查 (Walk-Through) 

走 查 是 最 正式 \ 最 耗 时 的 静态 测试 技术 ,但 也 是 最 有 效 的 。 走 查 与 代码 审查 的 步骤 基本 
相同 ,在 进行 走 查 之 前 , 走 查 小 组 的 成 员 也 会 得 到 设计 规格 说 明 书 、 程 序 清单 和 编码 规范 等 
材料 , 走 查 小 组 的 成 员 应 充分 研读 这 些 资 料 。 在 走 查 过 程 中 ,与 代码 审查 不 同 的 是 ,小 组 成 
员 不 再 简单 地 逐一 分 析 程 序 逻 辑 ,而 是 由 小 组 的 测试 人 员 设 计 一 批 有 代表 性 的 测试 用 例 ,小 
组 成 员 集体 扮演 计算 机 的 角色 ,在 头脑 中 沿 着 程序 的 逻辑 运行 这 些 测试 用 例 ,将 程序 运行 的 
总 计 记 录 于 纸 上 或 黑板 上 供 大 家 分 析 和 讨论 ,进而 检查 其 执行 逻辑 、 控 制 模型 .算法 和 使 用 
参数 与 数据 的 正确 性 ,以 发 现 设计 中 存在 的 问题 以 及 设计 与 编码 不 一 致 的 地 方 。 


2. 静态 结构 分 析 


静态 结构 分 析 主 要 是 以 图 形 的 方式 表现 程序 的 内 部 结构 , 供 测 试 人 员 对 程序 结构 进行 
分 析 。 

程序 的 结构 形式 是 白 盒 测 试 的 主要 依据 。 研 究 表明 程序 员 38% 的 时 间 花 费 在 理解 软 
件 系 统 上 ,因为 代码 以 文本 格式 被 写 人 多 重文 件 中 ,这 是 很 难 阅读 理解 的 ,需要 其 他 一 些 东 
西 来 帮助 人 们 阅读 理解 ,如 各 种 图 表 等 ,而 静态 结构 分 析 满 足 了 这 样 的 需求 。 

在 静态 结构 分 析 中 ,测试 者 通过 使 用 测试 工具 分 析 程 序 源 代码 的 系统 结构 ,数据 结构 、 
内 部 控制 逻辑 等 内 部 结构 ,生成 函数 调用 关系 图 、 模 块 控制 流 图 、 内 部 文件 调用 关系 图 、 子 程 
ER ,宏和 函数 参数 表 等 各 类 图 形 图 标 , 可 以 清晰 地 标识 整个 软件 系统 的 组 成 结构 ,使 其 便 
于 阅读 和 理解 ,然后 可 以 通过 分 析 这 些 图 标 , 检 查 软件 有 没有 存在 缺陷 或 错误 。 

其 中 函数 调用 关系 图 通过 应 用 程序 中 各 函数 之 间 的 调用 关系 展示 了 系统 的 结构 。 通 过 
查看 函数 调用 关系 图 ,可 以 检查 函数 之 间 的 调用 关系 是 否 符合 要 求 , 是 否 存在 递归 调用 , 郴 
数 的 调用 层 是 否 过 深 , 有 没有 存在 独立 的 没有 被 调用 的 函数 。 从 而 可 以 发 现 系 统 是 否 存在 
结构 缺陷 ,发 现 哪些 函数 是 重要 的 ,哪些 是 次 要 的 ,需要 使 用 什么 级 别 的 覆盖 要 求 。 

模块 控制 流 图 是 与 程序 流程 图 相 类 似 的 ,由 许多 节点 和 连接 节点 的 边 组 成 的 一 种 图 形 ， 
其 中 一 个 节点 代表 一 条 语句 或 数 条 语句 , 边 代 表 节 点 间 的 控制 流向 , 它 显示 了 一 个 函数 的 内 
部 逻辑 结构 。 模 块 控制 流 图 可 以 直观 地 反映 出 一 个 函数 的 内 部 逻辑 结构 ,通过 检查 这 些 模 
块 控制 流 图 ,能 够 很 快 发 现 软件 的 错误 与 缺陷 。 


3. 代码 质量 度量 


根据 ISO/IEC 9126 质量 模型 的 定义 ,软件 质量 包括 6 个 方面 : 功能 性 .可 靠 性 .可 用 
性 效率、 可 维护 性 和 可 移植 性 。 我 们 可 以 由 此 构造 质量 度量 模型 ,通过 量化 的 数据 评估 软 
件 的 各 个 方面 。 

详细 内 容 见 章节 “1. 5. 1 软件 质量 和 软件 质量 模型 ”。 


2.5.5 ”和 白 盒 测试 方法 使 用 策略 


在 白 盒 测 试 中 ,可 以 使 用 各 种 测试 方法 的 综合 策略 如 下 所 示 : 
CD 在 测试 中 ,应 尽量 先 用 工具 进行 静态 结构 分 析 。 
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(2) 测试 中 可 采取 先 静态 后 动态 的 组 合 方式 : 先进 行 静 态 结构 分 析 、 代 码 检查 和 静态 
质量 度量 ,再 进行 覆盖 率 测试 。 

CD 利用 静态 分 析 的 结果 作为 引导 ,通过 代码 检查 和 动态 测试 的 方法 对 静态 分 析 结果 
进行 进一步 的 确认 ,使 测试 工作 更 为 有 效 。 

(4) 覆盖 率 测 试 是 白 盒 测试 的 重点 ,一 般 可 使 用 基本 路 径 测试 法 达到 语句 覆盖 标准 。 
对 于 软件 的 重点 模块 ,应 使 用 多 种 覆盖 率 标准 衡量 代码 的 覆盖 率 。 

(5) 在 不 同 的 测试 阶段 ,测试 的 侧重 点 不 同 。 在 单元 测试 阶段 ,以 代码 检查 、 人 逻辑 覆盖 
为 主 ; 在 集成 测试 阶段 ,需要 增加 静态 结构 分 析 、 静 态 质 量度 量 ; 在 系统 测试 阶段 ,应 尽量 
使 用 黑 盒 测 试 方法 ,但 若 发 现 软件 中 的 严重 问题 且 无 法 用 黑 盒 测试 方法 定位 , 则 仍 需 选择 性 
地 使 用 白 盒 测试 方法 ,深入 到 模块 的 内 部 进行 错误 定位 。 


$2.6 黑白 盒 测试 方法 总 结 


通过 本 章 的 讲述 ,我 们 对 黑 盒 测 试 和 白 盒 测 试 应 该 有 了 一 个 较为 清楚 的 认识 。 黑 盒 测 
试 和 白 盒 测 试 作为 两 种 出 发 点 完全 不 同 的 测试 方法 ,各 有 其 特点 ,在 软件 测试 中 是 缺 一 不 
可 的 。 

黑 盒 测试 完全 不 考虑 程序 的 具体 实现 ,从 程序 外 部 对 其 功能 ,性 能 等 进行 测试 ,可 以 认 
为 是 站 在 用 户 角 度 进 行 的 测试 。 申 于 黑 盒 测试 具有 成 本 较 低 的 优点 ,被 测试 从 业 人 员 广 泛 
采用 。 

但 黑 盒 测试 有 其 不 足 之 处 ,如 对 特定 的 输入 ,软件 的 输出 恰巧 是 正确 的 ,但 内 部 的 运算 
有 错 , 黑 盒 测试 无 法 发 现 ; 还 有 如 果 软 件 中 存在 内 存 泄露 .误差 积累 等 隐患 也 是 黑 盒 测试 无 
能 为 力 的 。 

与 黑 盒 测 试 相 比 , 白 盒 测试 深入 到 程序 的 内 部 进行 测试 ,能 发 现 比 黑 盒 测 试 更 多 的 错 
误 , 也 更 易于 定位 错误 的 原因 和 具体 位 置 ,并 能 得 出 测试 对 代码 的 覆盖 率 , 弥 补 了 黑 盒 测试 
只 能 从 程序 外 部 进行 测试 且 难于 衡量 测试 完整 性 的 不 足 。 

虽然 白 盒 测试 的 优点 很 多 ,但 不 能 对 一 个 测试 项 目 盲目 地 ,无 限制 地 使 用 白 盒 测试 方 
法 ,因为 白 盒 测 试 与 黑 盒 测 试 的 方式 虽然 不 同 ,但 在 很 多 场合 会 与 黑 盒 测试 产生 同样 的 效 
AR ,应 减少 此 类 和 宛 余 的 测试 。 毕 竟 白 盒 测 试 意味 着 更 多 的 测试 成 本 。 

一 般 来 说 ,在 软件 测试 的 单元 测试 阶段 ,以 使 用 白 盒 测试 法 为 主 对 被 测 单元 进行 测试 
在 集成 测试 阶段 ,可 使 用 黑 盒 、 白 盒 相 结合 的 方法 测试 多 个 单元 组 装 在 一 起 能 否 按 预期 的 设 
计 要 求 工作 ,这 种 测试 策略 也 可 以 理解 为 灰 盒 测试 方法 ; 在 集成 测试 之 后 的 测试 阶段 ,目标 
软件 已 基本 成 型 ,应 使 用 黑 盒 测 试 方法 对 软件 进行 测试 。 


ei 小 结 


本 章 主要 介绍 了 测试 用 例 的 相关 知识 和 黑 、 白 盒 测试 方法 的 相关 内 容 。 我 们 不 仅 要 明 
白 测试 用 例 的 含义 ,还 要 掌握 测试 用 例 的 设计 方法 。 黑 、 白 盒 测试 方法 的 目的 就 是 为 了 找 出 
合适 的 测试 用 例 ,使 测试 过 程 高 效 、 完 整 。 
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本 童 详细 讲述 了 多 种 典型 的 黑 、 白 盒 测试 方法 ,读者 需 细 心理 解 方 法 的 要 义 , 通 过 一 定 
的 实践 来 掌握 黑 、 白 盒 测试 方法 的 内 涵 。 


习题 


. 什么 是 测试 用 例 ? 为 什么 要 设计 测试 用 例 ? 

.什么 是 黑 盒 测 试 ?什么 是 白 盒 测试 ?它们 有 何 优 缺 点 ? 

。 对 小 的 程序 进行 穷 举 测试 是 可 能 的 ,用 穷 举 测试 能 否 保证 程序 是 百分之百 正确 的 ? 
. 边界 值 方法 和 等 价 类 方法 的 关系 是 怎样 的 ? 

. 在 什么 情况 下 应 使 用 因果 图 法 或 决策 表 法 ? 

. 有 一 个 评定 并 打印 学 生成 绩 等 级 的 程序 ,其 规格 说 明 如 下 : 

成 绩 满分 为 100 分 ,学 生成 绩 若 在 [90,100] 之 间 , 打 印 等 级 为 "A”; 学 生成 绩 若 在 [80， 
90) 之 间 ,打印 等 级 为 “B”; 学 生成 绩 车 在 [60,80) 之 间 , 打 印 等 级 为 *C”; 学 生成 绩 若 低 于 
60, 打 印 等 级 为 *“D”; 若 学 生成 绩 小 于 0 或 大 于 100, 或 者 学 生成 绩 中 含有 非 数 字 字符 , 则 打 
印 “error”。 试 根据 此 规格 说 明 用 等 价 类 方法 .边界 值 方法 和 错误 推测 法 共同 完成 该 程序 功 
能 的 黑 盒 测试 用 例 设 计 。 

7. 有 一 个 处 理 单 价 为 5 角 钱 的 饮料 的 自动 售 货 机 软件 测试 用 例 的 设计 。 

其 规格 说 明 如 下 : 若 投入 5 角 钱 或 1 元 钱 的 硬币 , 按 下 “橙汁 ?或 “啤酒 的 按钮 , 则 相应 
的 饮料 就 送出 来 。 若 售 货 机 没有 零钱 找 , 则 一 个 显示 ”零钱 找 完 ? 的 红 灯 亮 ,这 时 再 投入 1 元 
硬币 并 按 下 按钮 后 ,饮料 不 送出 来 而 且 1 元 硬币 也 退出 来 ; 若 有 零钱 找 , 则 显示 “零钱 找 完 ” 
的 红 灯 灭 ,在 送出 饮料 的 同时 退还 5 角 硬 币 。 

8. 用 决策 表 测 试 法 测试 以 下 程序 : 该 程序 有 三 个 输入 变量 month, day, year(month、 
day 和 year 均 为 整数 值 ,并 且 满 足 : 1 month 12 和 1 days 31) 4 9I E 23 58; A. A 89 ff 3 
份 .日 .年份 ,通过 程序 可 以 输出 该 输入 日 期 在 日 历 上 隔 一 天 的 日 期 。 

例如 ,输入 为 2011 年 11 月 29 日 , 则 该 程序 的 输出 为 2011 年 12 月 1 日 。 

(1) 分 析 各 种 输入 情况 , 列 出 为 输入 变量 month ,day year 划分 的 有 效 等 价 类 。 

(2) 分 析 程 序 规格 说 明 ,结合 以 上 等 价 类 划分 的 情况 给 出 问题 规定 的 可 能 采取 的 操作 
( 即 列 出 所 有 的 动作 桩 )。 

(3) 根据 (1) 和 (2) , 画 出 简化 后 的 决策 表 。 

9. 为 以 下 流程 图 所 示 的 程序 段 设计 一 组 测试 用 例 ,要 求 分 别 满足 语句 覆盖 判定 覆盖 、 
AK TER uis HIE A VETE SS EB Or TE RUE GE THE o 
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10. 在 三 角形 问题 中 ,要 求 输入 三 个 边 长 : c,2,c。 当 三 边 不 可 能 构成 三 角形 时 提示 错 
误 , 可 构成 三 角形 时 计算 三 角形 的 周 长 。 若 是 等 腰 三 角形 , 则 打印 “等 腰 三 角形 ”; 若是 等 边 
三 角形 , 则 打印 “等 边 三 角形 ”。 画 出 相应 的 程序 流程 图 ,并 采用 基本 路 径 测试 方法 为 该 程序 
设计 测试 用 例 。 

11. 使 用 基本 路 径 测 试 方法 ,为 以 下 程序 段 设计 测试 用 例 。 


void Do (int X, int A, int B) 
{ 
if ( (A» 1)&&(B7 0) ) 
X = X/A; 
if ( (A=2)||(x>1) ) 
X= X+1; 


软件 测试 流程 | 


软件 测试 是 贯穿 软件 整个 生命 周期 的 一 个 系统 的 过 程 ,包括 单元 测试 、 集 成 测试 .确认 
测试 .系统 测试 .验收 测试 等 阶段 。 为 确保 测试 工作 的 正常 实施 ,一 般 在 每 个 测试 阶段 中 都 
要 有 测试 计划 、 测 试 设计 、 测 试 执行 和 测试 评估 等 基本 步骤 。 

本 章 重点 讲述 测试 流程 中 的 单元 测试 .集成 测试 、 确 认 测 试 .系统 测试 ,验收 测试 等 测试 
阶段 的 工作 内 容 、 实 施 手 段 及 步骤 ,让 读者 再 清楚 软件 测试 的 基本 过 程 ,掌握 在 不 同 的 阶段 
应 该 如 何 开展 测试 工作 。 

本 章 要 点 : 

。 桩 模块 和 驱动 模块 。 

t 集成 测试 策略 。 

。 回归 测试 。 

。 性 能 测试 内 容 。 

。 Web 系统 测试 。 

。 验收 测试 。 


G.1 软件 测试 的 过 程 


3.1.1 软件 测试 基本 过 程 


测试 是 贯穿 软件 整个 生命 周期 的 一 个 系统 的 过 程 。 系 统 化 的 测试 过 程 能 够 在 软件 发 布 
前 发 现 更 多 的 问题 ,并 保证 及 早 发 现 问 题 ,从 而 以 最 小 的 代价 更 正 问 题 。 对 于 测试 的 基本 过 
程 ,一 般 有 测试 计划 ,测试 设计 ,测试 执行 和 测试 评估 几 个 基本 阶段 。 


1. 测试 计划 阶段 


测试 计划 就 是 定义 一 个 测试 项 目 ,确定 各 测试 阶段 的 目标 和 策略 的 过 程 ,目的 是 能 够 正 
确 地 度量 和 控制 测试 。 这 个 过 程 将 输出 测试 计划 文档 ,明确 要 完成 的 测试 活动 ,为 测试 过 程 
的 每 一 阶段 提供 清楚 的 目标 ; 评估 完成 活动 所 需要 的 时 间 和 资源 ; 设计 测试 组 织 和 岗位 职 
权 , 进 行 活动 安排 和 资源 分 配 ; 安排 跟踪 和 控制 测试 过 程 的 活动 。 


2. 测试 设计 阶段 
测试 设计 就 是 根据 测试 计划 设计 测试 方案 ,编写 详细 的 测试 脚本 的 过 程 。 测 试 设计 过 


第 3 章 ”软件 测试 流程 


程 输出 的 是 各 测试 阶段 使 用 的 测试 用 例 。 

将 测试 计划 阶段 制订 的 测试 活动 分 解 、 细 化 为 若干 个 可 执行 的 测试 过 程 ,构造 测试 计划 
中 说 明 的 执行 测试 所 需 的 要 素 , 这 些 要 素 通常 包括 驱动 程序 ,测试 数据 集 和 实际 执行 测试 所 
需 的 软件 ,同时 为 每 个 测试 过 程 选择 适当 的 测试 用 例 \ 准 备 测试 环境 和 测试 工具 。 

测试 设计 的 结果 可 以 作为 各 阶段 测试 计划 的 附件 提交 评审 。 测 试 设计 的 另 一 项 内 容 是 
回归 测试 设计 , 即 确定 回归 测试 的 用 例 集 。 用 于 测试 用 例 的 修订 部 分 ,也 要 求 重新 评审 。 


3. 测试 执行 阶段 


按照 测试 计划 ,使 用 测试 用 例 对 待 测 项 目 进行 逐一 地 ,详细 地 测试 ,将 获得 的 运行 结果 
与 预期 结果 进行 比较 、 分 析 和 评估 ,判断 软件 是 通过 了 每 项 测试 还 是 失败 ,确定 开发 过 程 中 
将 要 执行 的 下 一 步 工序 ,同时 记录 、 跟 踪 和 管理 软件 缺陷 。 

在 每 个 测试 执行 之 后 ,对 发 现 的 错误 都 要 进行 相应 的 修改 。 当 软件 修改 以 后 ,必须 运行 
原 有 的 全 部 测试 用 例 重新 测试 ,并 验证 测试 结果 ,这 样 可 确保 修改 后 软件 的 正确 性 和 质量 。 


4. 测试 评估 阶段 


将 测试 执行 阶段 得 到 的 测试 结果 进行 测试 分 析 和 汇总 ,依次 评定 测试 用 例 测试 项 、 软 
件 总 体质 量 等 级 。 如 果 必 要 ,还 应 组 织 专家 评议 ,最 终 得 到 测试 报告 。 

测试 的 对 象 和 结果 应 在 测试 报告 中 汇总 。 测 试 报告 用 来 对 测试 结果 进行 分 析 说 明 。 经 
过 测试 后 ,证 实 了 软件 具有 的 能 力 以 及 它 的 缺陷 和 限制 ,并 给 出 评价 的 结论 性 意见 ,这 些 意 
见 既是 对 软件 质量 的 评价 ,又 是 决定 该 软件 能 和 否 交 付 用 户 使 用 的 依据 。 测试 分 析 报 告 的 结 
构 可 以 参考 GB 8567 一 88 一 一 (计算 机 软件 产品 开发 文件 编制 指南 》。 


3.1.2 与 软件 开发 过 程 并 行 的 测试 流程 


10 年 前 ,测试 仅仅 是 软件 开发 的 之 后 过 程 ; 现在 ,大 多 数 公司 认识 到 软件 测试 将 在 软 
件 生命 周期 中 起 着 重要 作用 。 他 们 意识 到 在 项 目 组 中 培训 软件 测试 员 , 并 在 开发 过 程 的 早 
期 投入 工作 可 以 制造 出 质量 更 优 的 软件 。 软 件 测试 员 的 目标 是 找 出 软件 缺陷 , 尽 可 能 早 一 
些 , 并 确保 其 得 以 修复 。 

在 经 典 的 瀑布 模型 中 ,软件 开发 包括 项 目 计划 、 需 求 分 析 、 设 计 、 编 码 与 单元 测试 .综合 
测试 和 运行 维护 阶段 。 软 件 测试 贯穿 于 软件 开发 的 整个 过 程 ,在 开发 的 任何 阶段 ,测试 资源 
至 少 有 一 项 相关 的 活动 。 下 面 我 们 将 对 软件 测试 过 程 如 何 与 开发 过 程 并 行 工作 进行 分 析 。 


1. 软件 项 目 计划 阶段 


软件 项 目 计划 及 相关 的 时 间 表 (包括 整体 的 软件 测试 计划 ) 建 立 起 来 时 ,进行 的 测试 工 
作 就 是 评审 项 目 计划 以 保证 所 有 的 测试 任务 已 经 被 包含 进去 ,并 被 安排 了 合适 的 时 间 长 度 。 
项 目 初期 为 这 些 任务 分 配 资源 时 仍然 可 以 提出 任何 有 关 洪 在 资源 分 配 的 问题 。 


2. 软件 需求 分 析 阶 段 


在 搜集 和 编写 需求 时 ,就 要 开始 编写 测试 计划 , 列 出 测试 的 所 有 步骤 及 相关 假设 和 约 
东 , 同 时 通过 严格 的 检查 和 评审 来 测试 需求 ,以 求 清 楚 、 完 整 和 可 测试 性 。 这 就 意味 着 尽早 
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防止 缺陷 在 代码 中 出 现 , 等 到 将 来 的 测试 阶段 再 发 现 缺 陷 , 改 正 的 代价 就 更 高 了 。 
在 需求 分 析 阶 段 建立 系统 测试 计划 ,同时 ,开始 准备 确认 测试 计划 。 


3. 软件 设计 阶段 


将 需求 分 析 阶 段 建立 的 系统 测试 计划 加 以 细 化 更 新 ,进行 系统 测试 设计 ; 将 确认 测试 
计划 加 以 细 化 ,进行 确认 测试 设计 。 在 概要 设计 阶段 完成 集成 测试 计划 ,并且 在 详细 设计 阶 
段 加 以 细 化 更 新 ,进行 集成 测试 设计 。 

在 详细 设计 阶段 也 要 完成 单元 测试 计划 。 模 块 测试 计划 不 需要 非常 正规 ,只 是 简单 解 
释 程序 员 计 划 如 何 测试 这 个 模块 。 单 元 测试 的 测试 计划 应 该 根据 被 测 单元 的 性 质 而 制订 ， 
如 对 系统 控制 单元 应 主要 采用 结构 测试 ; 对 复杂 的 计算 单元 应 主要 采用 算法 分 析 测试 用 
例 ; 对 界面 单元 就 应 该 测试 各 种 选项 的 组 合 等 。 


4. 编码 与 单元 测试 阶段 


在 此 阶段 将 系统 测试 设计 、 确 认 测试 设计 、 集 成 测试 设计 最 终 确定 下 来 ,根据 单元 测试 
计划 建立 单元 测试 环境 ,完成 单元 测试 设计 。 

单元 测试 集中 在 检查 软件 设计 的 最 小 单位 一 一 模块 上 。 一 个 模块 编码 完成 后 ,如 果 代 
码 已 经 无 错误 地 通过 编译 或 汇编 ,并 且 已 经 对 代码 进行 了 可 能 的 预 处 理 ,就 可 以 采用 代码 走 
查 和 代码 审查 相 结合 的 方式 对 代码 进行 静态 分 析 。 

完成 代码 的 静态 分 析 之 后 ,就 开始 执行 单元 测试 。 单 元 测试 的 目的 在 于 发 现 各 模块 内 
部 的 错误 ,以 确保 受 测试 模块 内 部 的 一 致 性 与 逻辑 正确 ,并 使 排 错 工作 易于 进行 。 

由 于 每 个 模块 在 整个 软件 中 并 不 是 孤立 的 ,在 对 每 个 模块 进行 单元 测试 时 ,也 不 能 完全 
忽视 它们 和 周围 模块 的 相互 联系 。 


5. 集成 测试 


对 于 已 经 完成 单元 测试 ,并 且 已 经 置 于 测试 配置 管理 之 下 的 相关 的 软件 模块 ,按照 集成 
测试 设计 ,开始 进行 集成 测试 。 集 成 测试 是 将 多 个 模块 连接 起 来 ,以 发 现 概要 设计 中 模块 之 
间接 口 设计 的 问题 ,其 目的 是 检查 模块 是 否 已 正确 地 合并 成 满足 规格 说 明 的 产品 。 

事实 上 ,对 于 那些 独立 的 模块 ,在 编码 及 单元 测试 结束 之 后 就 可 以 开始 集成 测试 了 。 因 
此 ,集成 测试 阶段 与 编码 及 单元 测试 阶段 在 时 间 上 有 一 部 分 是 重 又 的 ,是 并 行 的 过 程 。 

需要 注意 的 是 ,重要 的 模块 应 该 先 测试 并 集成 。 集 成 测试 结束 之 后 ,完成 集成 测试 
报告 。 


6. 确认 测试 


集成 测试 完成 以 后 ,分 散 开发 的 模块 被 连接 起 来 ,构成 完整 的 程序 。 各 模块 之 间 的 接口 
存在 的 种 种 问题 都 已 消除 ,于 是 测试 工作 进入 确认 测试 阶段 。 按 照 前 面 进行 的 测试 设计 执 
行 确认 测试 ,目的 是 检查 所 开发 的 软件 是 否 达到 了 用 户 需求 说 明 中 的 要 求 。 若 能 达到 这 一 
要 求 , 则 认为 开发 的 软件 是 合格 的 。 

确认 测试 结束 之 后 ,完成 确认 测试 报告 。 
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7. 系统 测试 


由 于 软件 只 是 计算 机 系统 的 一 个 组 成 部 分 ,软件 开发 完成 以 后 ,最 终 还 要 与 计算 机 硬 
件 . 外 设 、 某 些 支持 软件 ,数据 和 人 员 等 其 他 系统 元 素 结合 在 一 起 ,在 实际 运行 (使 用 环境 下 ， 
对 计算 机 系统 进行 全 面 检验 ,这 样 的 做 法 涉及 软件 需求 以 及 软件 与 系统 中 其 他 方面 的 关系 。 

系统 测试 通过 与 系统 的 需求 定义 做 比较 ,发 现 软件 与 系统 定义 不 符合 或 相 矛 盾 的 地 方 ,以 
保证 各 组 成 部 分 不 仅 能 单独 地 受到 检验 ,而 且 在 系统 各 部 分 协调 工作 的 环境 下 也 能 正常 工作 。 

系统 测试 结束 之 后 ,完成 系统 测试 报告 。 系 统 测试 应 交付 的 文档 有 : 系统 测试 分 析 报 
告 .最终 的 用 户 手册 和 操作 手册 、 项 目 开发 总 结 报告 。 


8. 运行 维护 阶段 


为 确保 软件 产品 在 初次 交付 和 安装 后 能 够 在 用 户 环境 中 良好 地 运行 , 需 对 软件 进行 有 
效 维护 。 外 部 发 现 的 缺陷 一 旦 报告 给 支持 部 门 ,测试 小 组 就 要 分 析 缺 陷 报告 ,确定 缺陷 是 否 
可 再 生 以 及 是 否 在 发 布 之 前 就 已 经 知道 原因 。 根 据 维护 计划 的 规定 将 准备 修改 的 问题 进行 
汇总 ,填写 软件 问题 汇总 表 。 每 次 维护 活动 结束 后 ,原则 上 填写 一 次 维护 报告 ,维护 报告 经 
部 门 经 理 审查 后 作为 维护 记录 存放 。 

图 3-1 是 测试 过 程 与 整个 软件 开发 的 关系 模型 。 图 中 虚线 将 开发 过 程 的 几 个 步骤 分 陋 
开 来 ,以 便 比 较 清楚 地 表示 出 开发 过 程 的 各 个 阶段 相应 的 测试 活动 。 
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图 3-1 开发 阶段 对 应 的 测试 活动 
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接 下 来 ,将 针对 测试 流程 中 的 单元 测试 .集成 测试 .确认 测试 .系统 测试 验收 测试 等 重 
点 测试 阶段 展开 描述 。 


6.2 单元 测试 


3.2.1 单元 测试 概述 


单元 测试 是 针对 软件 设计 的 最 小 单位 一 一 程序 模块 ,进行 正确 性 检验 的 测试 工作 。 一 
般 做 法 是 由 开发 人 员 编写 一 小 段 测 试 代码 ,根据 被 测 目标 代码 的 应 用 场景 ,设计 拥有 合理 覆 
盖 度 的 输入 条 件 , 调 用 执行 目标 代码 ,然后 判断 输出 结果 是 否 与 预期 一 致 ,被 测试 目标 代码 
一 般 应 具体 到 类 的 方法 层面 上 。 单 元 测试 是 一 个 方法 层级 上 的 测试 ,单元 测试 也 是 最 细 粒 
度 的 测试 ,用 于 测试 一 个 类 的 每 一 个 方法 都 已 经 满足 了 方法 的 功能 需求 。 

单元 测试 的 目的 在 于 发 现 目标 代码 中 可 能 存在 的 错误 。 与 其 他 测试 阶段 不 同 的 是 单元 
测试 一 般 由 编程 人 员 在 编码 阶段 进行 ,以 便 及 时 发 现 编码 过 程 中 可 能 存在 的 缺陷 并 使 其 尽 
早 得 以 修正 。 

单元 测试 是 程序 员 的 一 项 基本 职责 ,程序 员 必 须 对 自己 所 编写 的 代码 保持 认真 负责 的 
态度 ,这 也 是 程序 员 的 基本 职业 素质 之 一 。 同 时 单元 测试 能 力也 是 程序 员 的 一 项 基本 能 力 ， 
能 力 的 高 低 直 接 影 响 到 程序 员 的 工作 效率 与 软件 的 质量 。 

在 编码 的 过 程 中 进行 单元 测试 ,其 花费 是 最 小 的 , 排 错 成 本 最 低 。 在 编码 的 过 程 中 考虑 测 
试问 题 , 得 到 的 将 是 更 优质 的 代码 ,因为 在 这 时 编码 人 员 对 代码 应 该 做 些 什 么 了 解 得 最 清楚 。 

单元 测试 可 分 为 静态 测试 和 动态 测试 。 静 态 测试 包括 代码 检查 、 静 态 结构 分 析 等 。 它 
可 以 由 人 工 进 行 ,也 可 以 借助 软件 工具 自动 进行 ,不 需要 编译 和 运行 代码 。 动 态 测试 则 要 编 
写 测试 代码 ,并 需要 编译 和 调用 被 测 代码 运行 。 一 般 以 白 盒 测试 方法 为 主 , 黑 盒 测试 方法 
为 辅 。 


3.2.2 单元 测试 步骤 
1. 单元 测试 实施 步 又 


(1) 制订 测试 计划 和 测试 方案 (包括 测试 工具 的 选择 )。 确 定 测试 内 容 , 初 步 制 订 测试 
策略 ,确定 测试 资源 ,安排 测试 进度 ,选择 测试 工具 。 

(2) 根据 计划 和 方案 及 相关 输入 文档 编写 测试 用 例 。 相 关 输 入 文档 包括 (软件 需求 规 
格 说 明 书 》《 软 件 详细 设计 说 明 书 》《 软 件 编码 与 单元 测试 工作 任务 书 》 等 。 

G) 搭建 测试 环境 。 测 试 环境 主要 包括 软件 .硬件 和 网 络 三 方面 。 

(4) 执行 测试 。 运 行 测试 用 例 ; 记录 被 测 单元 执行 过 程 ; 发 现 、 定 位 和 排除 错误 。 

(5) 记录 和 跟踪 问题 : 对 测试 结果 进行 分 析 、 归 类 ,确认 测试 是 否 完备 。 

(6) 编写 测试 报告 和 总 结 报告 。 


2. 单元 测试 实施 遵循 的 原则 
。 精心 制订 测试 计划 。 
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。 严格 评审 测试 计划 。 
。 严格 执行 测试 计划 。 
。 系统 分 析 测试 结果 并 提交 报告 。 


3.2.3 单元 测试 环境 


通常 单元 测试 中 的 被 测 模块 往往 不 是 一 个 可 以 独立 运行 的 程序 ,所 以 在 执行 单元 测试 
阶段 的 动态 测试 时 ,应 设置 辅助 模块 ,模拟 被 测 模块 与 其 他 模块 的 联系 ,使 得 被 测 模块 能 正 
常 运行 ,以 达到 测试 目的 。 这 些 辅助 模块 分 为 两 种 : 

驱动 模块 : 模拟 被 测 模块 的 上 一 级 模块 ,相当 于 被 测 模块 的 主 程序 。 它 接收 测试 数据 ， 
把 这 些 数据 传送 给 被 测 模块 ,最 后 输出 实测 结果 。 

桩 模块 : 用 以 代替 被 测 模块 调用 的 子 模块 。 桩 模块 可 以 做 少量 的 数据 操作 ,不 需要 把 
子 模 块 所 有 功能 都 带 进来 ,但 不 允许 什么 事情 也 不 做 。 

读者 可 自行 举例 来 理解 两 类 辅助 模块 的 作用 。 

如 图 3-2 所 示 ,被 测 模块 、 相 应 驱动 模块 及 桩 模块 共同 构成 了 一 个 “测试 环境 ”。 

由 于 驱动 模块 和 桩 模块 不 是 最 终 提交 的 模块 ,在 进行 单元 测试 时 应 尽量 避免 开发 驱动 
模块 和 桩 模块 。 尤 其 应 避免 开发 桩 模块 ,因为 驱动 模块 开发 的 工作 量 一 般 少 于 桩 模块 。 驱 
动 模块 是 用 来 代替 被 测 模块 的 实际 上 层 模 块 ,只 用 于 完成 调用 被 测 模块 工作 ,而 桩 模块 要 做 
的 事情 则 要 多 一 些 。 


ee MUT 
Une 


出 错 处 理 模块 接口 。 局 部 数据 结构 
测试 用 例 被 测 模块 
模块 
[TFT TT "- : 
UE dbi deme dbce ld 独立 路 径 : 边界 条 件 
3-2 ”驱动 模块 与 桩 模块 3-3 单元 测试 的 主要 任务 


3.2.4 单元 测试 主要 任务 


单元 测试 的 对 象 是 软件 设计 的 最 小 单位 一 一 模块 或 函数 ,单元 测试 的 依据 是 详细 设计 
说 明 书 。 测 试 者 要 根据 详细 设计 说 明 书 和 源 程序 清单 ,了 解 模块 的 1/0 条 件 和 模块 的 逻辑 
结构 等 。 要求 对 所 有 的 局 部 和 全 局 的 数据 结构 、 外 部 接口 和 程序 代码 的 关键 部 分 进行 桌面 
检查 和 代码 审查 。 单 元 测试 的 主要 内 容 有 以 下 5 个 方面 ,如 图 3-3 所 示 。 


1. 模块 接口 


检查 进出 程序 单元 的 数据 流 是 否 正确 ,这 一 过 程 必须 在 其 他 测试 之 前 进行 。 如 果 数 据 
不 能 正确 地 输入 和 输出 ,就 谈 不 上 进行 其 他 测试 。 对 于 模块 接口 需要 如 下 的 测试 项 目 : 

* 调用 所 测 模块 时 的 输入 参数 与 模块 的 形式 参数 在 个 数 属性、 顺序 上 是 否 匹配 。 

。 所 测 模块 调用 子 模块 时 , 它 输 入 子 模块 的 参数 与 子 模块 的 形式 参数 在 个 数 、 属 性 \ 顺 
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序 上 是 否 匹 配 。 
。 是否 修改 了 只 做 输入 用 的 形式 参数 。 
。 输 出 给 标准 函数 的 参数 在 个 数 、 属 性 、 顺 序 上 是 否 匹配 。 
。 全 局 变量 的 定义 在 各 模块 中 是 否 一 致 。 
。 限制 是 否 通过 形式 参数 来 传送 。 
2. 局 部 数据 结构 测试 
模块 的 局 部 数据 结构 是 最 常见 的 错误 来 源 , 应 设计 测试 用 例 以 检查 以 下 各 种 错误 : 
。 检查 不 正确 或 不 一 致 的 数据 类 型 说 明 。 
。 使 用 尚未 赋值 或 尚未 初始 化 的 变量 。 
。 错误 的 初始 值 或 错误 的 默认 值 。 
。 变量 名 拼写 错误 或 书写 错误 。 
。 不一致 的 数据 类 型 。 


3. 路 径 测 试 
路 径 测试 是 单元 测试 中 最 基本 的 测试 类 型 ,主要 查找 由 于 错误 计算 ,不 正确 的 比较 或 不 


正常 的 控制 流 而 导致 的 错误 。 常 见 的 不 正确 的 计算 有 : 


* 运算 的 优先 次 序 不 正确 或 误解 了 运算 的 优先 次 序 。 
。 运算 的 方式 错误 (运算 的 对 象 彼此 在 类 型 上 不 相 容 )。 
。 算 法 错误 。 

初始 化 不 正确 。 

。 运算 精度 不 够 。 

。 表达 式 的 符号 表示 不 正确 等 。 

常见 的 比较 和 控制 流 错误 有 : 

不 同 数据 类 型 的 比较 。 

。 不 正确 的 逻辑 运算 符 或 优先 次 序 。 

* 因 浮 点 运算 精度 问题 而 造成 的 两 值 比较 不 等 。 

。 关 系 表达 式 中 不 正确 的 变量 和 比较 符 。 

。“ 差 1 错 ”, 即 不 正确 地 多 循环 或 少 循环 一 次 。 

。 错误 的 或 不 可 能 的 循环 终止 条 件 。 

当 遇 到 发 散 的 迭代 时 不 能 终止 循环 。 

不 适当 地 修改 了 循环 变量 等 。 


4. 错误 处 理 测试 
比较 完善 的 模块 设计 要 求 能 预见 出 错 的 条 件 、 设 置 适 当 的 出 错 处 理 对策 , 以 便 在 程序 出 


错时 能 对 出 错 程序 重新 做 安排 ,保证 其 逻辑 上 的 正确 性 。 这 种 出 错 处 理 也 是 模块 功能 的 一 
部 分 。 表 明 出 错 处 理 模块 有 错误 或 缺陷 的 情况 有 : 


t 出 错 的 描述 难以 理解 。 
。 出错 的 描述 不 足以 对 错误 定位 和 确定 出 错 的 原因 。 
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t 显示 的 错误 与 实际 的 错误 不 符 。 

。 对 错误 条 件 的 处 理 不 正确 。 

。 在 对 错误 进行 处 理 之 前 ,错误 条 件 已 经 引起 系统 的 干预 。 

* 如 果 出 错 情况 不 予 考虑 ,那么 检查 恢复 正常 后 模块 可 否 正常 工作 。 


5. 边界 测试 


边界 上 出 现 错误 上 常见 的 。 我 们 应 该 设计 测试 用 例 检 查 : 

。 在 次 循环 的 第 0 次 .1 次 .n 次 是 否 有 错误 。 

。 运算 或 判断 中 取 最 大 最 小 值 时 是 否 有 错误 。 

* 数据 流 .控制 流 中 刚好 等 于 大于、 小 于 确定 的 比较 值 时 是 否 出 现 错误 。 


6.3 集成 测试 


3.3.1 集成 测试 概述 


集成 测试 (也 叫 组 装 测试 ,联合 测试 ) 是 单元 测试 的 逻辑 扩展 。 集 成 测试 是 在 单元 测试 
的 基础 上 进行 的 ,将 所 有 的 软件 单元 按照 概要 设计 规格 说 明 的 要 求 组 装 成 模块 、 子 系统 或 系 
统 的 过 程 中 各 部 分 工作 是 否 达 到 或 实现 相应 技术 指标 及 要 求 的 活动 。 也 就 是 说 ,在 集成 测 
试 之 前 ,单元 测试 应 该 已 经 完成 ,集成 测试 的 对 象 是 已 经 完成 单元 测试 的 软件 单元 。 

集成 测试 所 持 的 主要 依据 是 (软件 概要 设计 规格 说 明 》, 任 何不 符合 该 说 明 的 程序 模块 
行为 都 应 该 加 以 记载 并 上 报 。 在 现实 中 ,通过 单元 测试 和 子 系统 的 功能 测试 的 模块 在 集成 
时 , 仍 可 能 会 出 现下 列 问题 : 
在 把 各 个 模块 连接 起 来 的 时 候 , 穿 越 模块 接口 的 数据 是 否 会 丢失 。 
各 个 子 功能 组 合 起 来 ,能 否 达 到 预期 要 求 的 父 功能 。 
一 个 模块 的 功能 是 否 会 对 另 一 个 模块 的 功能 产生 不 利 的 影响 。 
全 局 数据 结构 是 否 有 问题 。 

。 单个 模块 的 误差 积累 起 来 ,是否 会 放大 ,从 而 达到 不 可 接受 的 程度 。 

因此 ,单元 测试 后 ,有 必要 进行 集成 测试 ,发 现 并 排除 在 模块 连接 中 可 能 发 生 的 上 述 问 
题 , 最 终 构 成 要 求 的 软件 子 系统 或 系统 。 

集成 测试 的 内 容 包 括 单元 间 的 接口 以 及 集成 后 的 功能 。 在 这 种 情况 下 ,集成 测试 的 意 
义 还 在 于 它 能 间接 地 验证 概要 设计 是 否 具有 可 行 性 。 

集成 测试 主要 使 用 黑 盒 测试 方法 测试 集成 单元 的 功能 ,并 且 对 以 前 的 集成 进行 回归 测 
试 。 当 对 集成 后 的 某 单 元 进行 了 修改 ,就 需要 进行 回归 测试 ,验证 与 该 单元 组 装 在 一 起 的 其 
他 单元 (尤其 是 上 层 单元 ) 能 否 正常 工作 。 


3.3.2 集成 测试 过 程 
1. 集成 测试 计划 的 编制 
集成 测试 是 正规 测试 过 程 ,必须 精心 计划 ,并 与 单元 测试 的 完成 时 间 协 调 起 来 。 在 制订 
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测试 计划 时 ,应 考虑 如 下 因素 : 

t 系统 集成 方式 。 

。 集成 过 程 中 连接 各 个 模块 的 顺序 。 

。 模 块 代码 编制 和 测试 进度 是 否 与 集成 测试 的 顺序 一 致 。 

。 测 试 过 程 中 是 否 需 要 专门 的 硬件 设备 。 

解决 了 上 述 问题 之 后 ,就 可 以 列 出 各 个 模块 的 编制 ,测试 计划 表 , 标 明 每 个 模块 单元 测 
试 完成 的 日 期 .首次 集成 测试 的 日 期 ,集成 测试 全 部 完成 的 日 期 以 及 需要 的 测试 用 例 和 所 期 
望 的 测试 结果 。 


2. 集成 测试 过 程 


集成 测试 的 一 般 步 骤 如 下 : 

。 制定 集成 测试 计划 。 

。 设计 集成 测试 。 

。 实施 集成 测试 。 

。 执行 集成 测试 。 

。 评估 集成 测试 结果 。 

集成 测试 主要 由 系统 设计 人 员 和 软件 评测 人 员 完 成 ,开发 人 员 也 参与 集成 测试 。 集 成 
测试 相对 来 说 是 挺 复 杂 的 ,而 且 对 于 不 同 的 技术 .平台 和 应 用 差异 也 比较 大 ,更 多 是 和 开发 
环境 融合 在 一 起 。 集 成 测试 所 确定 的 测试 的 内 容 , 主要 来 源 于 设计 模型 。 集 成 测试 人 员 的 
工作 过 程 如 表 3-1 Bro 。 


表 3-1 集成 测试 人 员 的 工作 过 程 


"EET 工作 内 容 工作 结果 人 员 和 职责 
ET "^ 集成 测试 计划 | 测试 设计 人 员 负责 制定 集成 测试 计划 
集成 测试 计划 .设计 | 集成 测试 用 例 、 集 | 测试 设计 人 员 负 责 设计 集成 测试 用 例 和 
PR | 成 过 程 测试 过 程 
驱动 模块 或 柱 模 | 测试 设计 人 员 负 责 设计 驱动 模块 和 桩 模 
实施 集成 测试 a Po 块 .测试 脚本 、 测 | 块 ,编制 测试 脚本 ,更 新 测试 过 程 ; 实施 
. RIE 员 负 责 实施 驱动 模块 和 桩 模块 
执行 集成 测试 | 工作 版 本 .测试 脚本 | 测试 结果 测试 人 员 负 责 执行 测试 并 记录 测试 结果 
集成 测试 计划 .测试 | ,| 测试 设计 人 员 负 责 会 同 集成 员 、 编 码 员 
TORENE aw 测试 评估 报告 。 | 等 具体 评估 测试 ,并 生产 测试 评估 报告 


3. 集成 测试 的 完成 标准 


判定 集成 测试 过 程 是 否 完成 ,可 从 以 下 几 个 方面 检查 : 

。 成 功 地 执行 了 测试 计划 中 规定 的 所 有 集成 测试 。 

* 修正 了 所 发 现 的 错误 。 

。 测试 结果 通过 了 专门 小 组 的 评审 。 

在 完成 预定 的 集成 测试 工作 之 后 ,测试 人 员 应 负责 对 测试 结果 进行 整理 ,分 析 , 形 成 测 
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试 报告 。 测 试 报告 中 要 记录 实际 的 测试 结果 在 测试 中 发 现 的 问题 ,解决 这 些 问题 的 方法 以 
及 解决 之 后 再 次 测试 的 结果 。 此 外 还 应 提出 目前 不 能 解决 .还 需要 管理 人 员 和 开发 人 员 注 
意 的 一 些 问题 ,提供 测试 评审 和 最 终 决 策 ,以 提出 处 理 意见 。 


3.3.3 集成 测试 策略 
1. 一 次 性 集成 方式 


一 次 性 集成 方式 又 称 为 大 爆炸 集成 (Big-Bang Integration) ,是 一 种 非 增 殖 式 集 成 方式 
(Non-Incremental Integration) 。 本 小 节 中 介绍 的 其 他 集成 测试 策略 则 属于 增殖 式 集 成 方 
式 (Incremental Integration) 。 

一 次 性 集成 的 策略 是 ,首先 分 别 对 每 个 模块 进行 单元 测试 ,然后 一 次 性 地 将 所 有 模块 集 
成 在 一 起 ,并 对 它们 进行 测试 ,发 现 并 清除 在 模块 连接 过 程 中 出 现 的 问题 ,得 到 最 终 要 求 的 
软件 系统 。 

当 软 件 的 模块 数量 较 多 ,接口 复杂 时 ,一 次 性 集成 方式 不 利于 定位 和 解决 发 现 的 问题 ， 
所 以 很 难 构造 出 一 个 成 功 的 最 终 系统 。 在 实际 应 用 中 ,该 方式 较 少 使 用 。 


2. 自 顶 向 下 的 集成 方式 


自 项 向 下 的 集成 方式 (Top-Down Integration) 根 据 软件 的 模块 结构 图 , 按 控制 层次 从 
高 到 低 的 顺序 对 模块 进行 集成 ,也 就 是 从 最 顶层 模块 向 下 逐步 集成 ,并 在 集成 的 过 程 中 进行 
测试 ,直至 组 装 成 符合 要 求 的 最 终 软件 系统 。 

自 顶 向 下 的 集成 方式 的 测试 步骤 如 下 : 

(1) 以 主 模块 为 被 测 模块 , 主 模块 的 直接 下 属 模块 则 用 桩 模块 代替 。 

CD 采用 深度 优先 或 广度 优先 策略 ,用 实际 模块 替换 相应 的 桩 模块 (每 次 仅 替换 一 个 或 
少量 几 个 桩 模块 , 视 模块 接口 的 复杂 程度 而 定 ) ,他 们 的 直接 下 属 模块 则 又 用 桩 模块 代替 ,与 
已 测试 的 模块 或 子 系统 集成 为 新 的 子 系统 。 

(3) 对 新 形成 的 子 系统 进行 测试 ,发 现 和 排除 模块 集成 过 程 中 引起 的 错误 ,并 做 回归 测试 。 

(4) 若 所 有 模块 都 已 集成 到 系统 中 , 则 结束 集成 ,否则 转 到 步骤 (2)。 

图 3-4 所 示 的 是 采用 自 顶 向 下 的 广度 优先 集成 方式 进行 集成 的 过 程 。 读 者 可 以 自行 求 
解 深度 优先 方式 。 
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图 3-4 自 项 向 下 的 广度 优先 集成 方式 
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自 项 向 下 的 集成 方式 的 主要 优点 如 下 : 
* 可 以 及 早 地 发 现 和 修复 模块 结构 图 中 的 主要 控制 点 存在 的 问题 ,以 减少 以 后 的 返 
工 , 因 为 在 一 个 模块 划分 合理 的 模块 结构 图 中 ,主要 的 控制 点 多 出 现在 较 高 的 控制 
层次 上 。 
。 能 较 早 地 验证 功能 的 可 行 性 。 
。 最 多 只 需 一 个 驱动 模块 ,减少 了 了 驱动 模块 的 开发 成 本 。 
。 支持 故障 隔离 。 若 模块 A 通过 了 测试 ,而 加 进 模块 B 后 测试 中 出 现 错误 , 则 可 以 肯 
定 错误 处 于 模块 B 内 部 或 A.B 的 接口 上 。 
自 顶 向 下 的 集成 方式 的 主要 缺点 是 需要 开发 和 维护 大 量 的 桩 模块 。 桩 模块 很 难 模拟 实 
际 子 模块 的 功能 ,而 涉及 复杂 算法 和 真正 输入 输出 的 模块 一 般 在 底层 ,它们 是 最 容易 出 问题 
的 模块 ,如 果 到 组 装 的 后 期 才 测试 这 些 模块 ,一 旦 发 现 问题 ,将 导致 大 量 的 回归 测试 。 
为 了 有 效 进 行 集成 测试 ,软件 系统 的 控制 结构 应 具有 较 高 的 可 测试 性 。 
随 着 测试 的 逐步 推进 ,组 装 的 系统 愈加 复杂 , 易 导致 对 底层 模块 测试 的 不 充分 ,尤其 是 
那些 被 复 用 的 模块 。 
在 实际 使 用 中 , 自 项 向 下 的 集成 方式 很 少 单独 使 用 ,这 是 因为 该 方法 需要 开发 大 量 的 桩 
模块 ,增加 了 集成 测试 的 成 本 ,违背 了 应 尽量 避免 开发 桩 模块 的 原则 。 


3. 自 底 向 上 的 集成 方式 


自 底 向 上 的 集成 方式 (Down-Top Integration) 根 据 软 件 的 模块 结构 图 , 按 控制 层次 从 
低 到 高 的 顺序 对 模块 进行 集成 ,也 就 是 从 最 底层 模块 向 上 逐步 集成 ,在 集成 的 同时 进行 测 
试 , 直 至 组 装 成 符合 要 求 的 最 终 软 件 系 统 。 

因为 是 自 底 向 上 进行 组 装 , 对 于 一 个 给 定 层 次 的 模块 , 它 的 所 有 下 属 模块 已 经 组 装 并 测 
试 完 成 ,所 以 不 再 需要 桩 模块 。 测 试 步骤 如 下 : 

(1) 为 最 底层 模块 开发 驱动 模块 ,对 最 底层 模块 进行 并 行 测试 。 

(2) 用 实际 模块 替换 驱动 模块 ,与 其 已 被 测试 过 的 直属 子 模块 集成 为 一 个 子 系统 。 

(3) 为 新 形成 的 子 系统 开发 驱动 模块 ( 若 新 形成 的 子 系统 对 应 为 主 控 模 块 , 则 不 必 开 发 
驱动 模块 ) ,对 该 子 系统 进行 测试 。 

(4) 若 该 子 系统 已 对 应 为 主 控 模 块 , 即 最 高 层 模块 , 则 结束 集成 ,否则 转 到 步骤 (2) 。 

图 3-5 表示 了 自 底 向 上 的 集成 过 程 。 
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3-5 自 底 向 上 的 集成 过 程 


自 底 向 上 集成 方式 的 主要 优点 是 : 大 大 减少 了 桩 模块 的 开发 ,虽然 需要 开发 大 量 驱动 
模块 ,但 其 开发 成 本 要 比 开发 桩 模块 小 。 涉 及 复杂 算法 和 真正 输入 输出 的 模块 往往 在 底层 ， 
它们 是 最 容易 出 错 的 模块 , 先 对 底层 模块 进行 测试 ,减少 了 回归 测试 的 成 本 。 在 集成 的 早期 


第 3 章 ”软件 测试 流程 


实现 对 底层 模块 的 并 行 测试 ,提高 了 集成 的 效率 。 支 持 故障 隔离 。 

自 底 向 上 集成 方式 的 主要 缺点 是 需要 开发 大 量 的 驱动 模块 ,主要 控制 点 存在 的 问题 要 
到 集成 后 期 才能 修复 , 需 花 费 较 大 成 本 。 故 此 类 集成 方法 不 适合 于 那些 控制 结构 对 整个 体 
系 至 关 重 要 的 软件 产品 。 随 着 测试 的 逐步 推进 ,组 装 的 系统 愈加 复杂 ,对 底层 模块 的 异常 很 
难 测试 。 

在 实际 的 使 用 中 , 自 底 向 上 集成 方式 比 自 项 向 下 集成 方式 应 用 更 广泛 ,尤其 是 在 如 下 场 
合 , 更 应 使 用 自 底 向 上 的 集成 方式 : 软件 的 高 层 接口 变化 较 频 繁 ,可 测试 性 不 强 , 软 件 的 底 
层 接口 较 稳定 。 


3.3.4 回归 测试 
1. 概述 


在 软件 生命 周期 中 的 任何 一 个 阶段 ,只 要 软件 发 生 了 改变 ,就 可 能 给 该 软件 带 来 问题 。 
软件 的 改变 可 能 是 源 于 发 现 了 错误 并 做 了 修改 ,也 有 可 能 是 因为 在 集成 或 维护 阶段 加 入 了 
新 的 模块 。 当 软件 中 所 含 错误 被 发 现时 ,如 果 错 误 跟 踪 与 管理 系统 不 够 完善 ,就 可 能 会 遗漏 
对 这 些 错误 的 修改 ; 而 开发 者 对 错误 理解 的 不 够 透彻 ,也 可 能 导致 所 做 的 修改 只 修正 了 错 
误 的 外 在 表现 ,而 没有 修复 错误 本 身 ,从 而 造成 修改 失败 ; 修改 还 有 可 能 产生 副作用 从 而 导 
致 软件 未 被 修改 的 部 分 产生 新 的 问题 ,使 本 来 工作 正常 的 功能 产生 错误 。 同 样 , 在 有 新 代码 
加 入 软件 的 时 候 , 除 了 新 加 入 的 代码 中 有 可 能 含有 错误 外 ,新 代码 还 有 可 能 对 原 有 的 代码 带 
来 影响 。 因 此 ,每 当 软 件 发 生变 化 时 ,我 们 就 必须 重新 测试 现 有 的 功能 ,以 便 确 定 修改 是 否 
达到 了 预期 的 目的 ,检查 修改 是 否 损害 了 原 有 的 正常 功能 。 同 时 ,还 需要 补充 新 的 测试 用 例 
来 测试 新 的 或 被 修改 了 的 功能 。 为 了 验证 修改 的 正确 性 及 其 影响 就 需要 进行 回归 测试 。 


2. 回归 测试 策略 


回归 测试 需要 时 间 经费 和 人 力 来 计划 、 实 施 和 管理 。 为 了 在 给 定 的 预算 和 进度 下 , 尽 
可 能 有 效率 和 有 效力 地 进行 回归 测试 ,需要 对 测试 用 例 库 进 行 维护 并 依据 一 定 的 策略 选择 
相应 的 回归 测试 包 。 

1) 测试 用 例 库 的 维护 

为 了 最 大 限度 地 满足 客户 的 需要 和 适应 应 用 的 要 求 , 软 件 在 其 生命 周期 中 会 频繁 地 被 
修改 并 不 断 推出 新 的 版 本 ,修改 后 的 或 者 新 版 本 的 软件 会 添加 一 些 新 的 功能 或 者 在 软件 功 
能 上 产生 某 些 变化 。 随 着 软件 的 改变 ,软件 的 功能 和 应 用 接口 以 及 软件 的 实现 发 生 了 演变 ， 
测试 用 例 库 中 的 一 些 测 试用 例 可 能 会 失去 针对 性 和 有 效 性 ,而 另 一 些 测试 用 例 可 能 会 变 得 
过 时 ,还 有 一 些 测试 用 例 将 完全 不 能 运行 。 为 了 保证 测试 用 例 库 中 测试 用 例 的 有 效 性 ,必须 
对 测试 用 例 库 进行 维护 。 

测试 用 例 的 维护 是 一 个 不 间断 的 过 程 ,通常 可 以 将 软件 开发 的 基线 作为 基准 ,维护 的 主 
要 内 容 包 括 下 述 几 个 方面 。 

(1) 删除 过 时 的 测试 用 例 。 

(2) 改进 不 受 控制 的 测试 用 例 。 

(3) 删除 元 余 的 测试 用 例 。 


77 


V 


78 


vx 


软件 测试 实践 教程 


(4) 增添 新 的 测试 用 例 。 

2) 回归 测试 包 的 选择 

在 软件 生命 周期 中 ,即使 一 个 得 到 良好 维护 的 测试 用 例 库 也 可 能 变 得 相当 大 ,这 使 每 次 
回归 测试 都 重新 运行 完整 的 测试 包 变 得 不 切实 际 。 一 个 完全 的 回归 测试 包括 每 个 基线 测试 
用 例 , 时 间 和 成 本 约束 可 能 阻碍 运行 这 样 一 个 测试 ,有 时 测试 组 不 得 不 选择 一 个 缩减 的 回归 
测试 包 来 完成 回归 测试 。 

回归 测试 的 价值 在 于 它 是 一 个 能 够 检测 到 回归 错误 的 受 控 实 验 。 当 测试 组 选择 缩减 的 
回归 测试 时 ,有 可 能 删除 了 将 揭示 回归 错误 的 测试 用 例 , 消 除了 发 现 回归 错误 的 机 会 。 然 
而 ,如 果 采 用 了 代码 相依 性 分 析 等 安全 的 缩减 技术 ,就 可 以 决定 哪些 测试 用 例 可 以 被 删除 而 
不 会 让 回归 测试 的 意图 遭 到 破坏 。 

选择 回归 测试 策略 应 该 兼顾 效率 和 有 效 性 两 个 方面 。 常 用 的 选择 回归 测试 的 方式 包 
括 : 再 测试 全 部 用 例 .基于 风险 选择 测试 .基于 操作 剖面 选择 测试 .再 测试 修改 的 部 分 等 。 

3) 回归 测试 的 基本 过 程 

有 了 测试 用 例 库 的 维护 方法 和 回归 测试 包 的 选择 策略 ,回归 测试 可 遵循 下 述 基 本 过 程 
进行 ， 

(1) 识别 出 软件 中 被 修改 的 部 分 。 

(2) 从 原 基 线 测试 用 例 库 T (Pr ,排除 所 有 不 再 适用 的 测试 用 例 ,确定 那些 对 新 的 软件 版 
本 依然 有 效 的 测试 用 例 , 其 结果 是 建立 一 个 新 的 基线 测试 用 例 库 To 。 

(3) 依据 一 定 的 策略 从 TO 中 选择 测试 用 例 测 试 被 修改 的 软件 。 

(4) 如 果 必 要 ,生成 新 的 测试 用 例 集 T1 ,用 于 测试 To 无 法 充分 测试 的 软件 部 分 。 

(5) 用 T1 执行 修改 后 的 软件 。 

第 (2) 步 和 第 (3) 步 测试 验证 修改 是 否 破坏 了 现 有 的 功能 ,第 (4) 和 第 (5) 步 测试 验证 修 
改 工 作 本 身 。 


3. 回归 测试 实践 


在 实际 工作 中 ,回归 测试 需要 反复 进行 , 当 测试 者 一 次 又 一 次 地 完成 相同 的 测试 时 ,这 
些 回归 测试 将 变 得 非常 令 人 厌烦 ,而 在 大 多 数 回 归 测 试 需要 手工 完成 的 时 候 尤其 如 此 , 因 
此 ,需要 通过 自动 测试 来 实现 重复 的 和 一 致 的 回归 测试 。 通 过 测试 自动 化 可 以 提高 回归 测 
试 效率 。 为 了 支持 多 种 回归 测试 策略 ,自动 测试 工具 应 该 是 通用 的 和 灵活 的 ,以 便 满足 达到 
不 同 回归 测试 目标 的 要 求 。 

在 测试 软件 时 ,应 用 多 种 测试 技术 是 常见 的 。 当 测试 一 个 修改 了 的 软件 时 ,测试 者 也 可 
能 希望 采用 多 于 一 种 的 回归 测试 策略 来 增加 对 修改 软件 的 信心 。 不 同 的 测试 者 可 能 会 依据 
自己 的 经 验 和 判断 选择 不 同 的 回归 测试 技术 和 策略 。 
回归 测试 并 不 减少 对 系统 新 功能 和 特征 的 测试 需求 ,回归 测试 包 应 包括 新 功能 和 特征 
的 测试 。 如 果 回 归 测试 包 不 能 达到 所 需 的 覆盖 要 求 ,必须 补充 新 的 测试 用 例 使 覆盖 率 达 到 
规定 的 要 求 。 
回归 测试 是 重复 性 较 多 的 活动 ,容易 使 测试 者 感到 疲劳 和 厌倦 ,降低 测试 效率 ,在 实际 
工作 中 可 以 采用 一 些 策略 减轻 这 些 问题 。 例 如 ,安排 新 的 测试 者 完成 手工 回归 测试 ,分 配 更 
有 经 验 的 测试 者 开发 新 的 测试 用 例 ,编写 和 调试 自动 测试 脚本 ,做 一 些 探索 性 的 或 Ad Hoc 
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测试 。 还 可 以 在 不 影响 测试 目标 的 情况 下 ,鼓励 测试 者 创造 性 地 执行 测试 用 例 , 变 化 的 输 
人 和、 按键 和 配置 能 够 有 助 于 激励 测试 者 又 能 揭示 新 的 错误 。 

在 组 织 回归 测试 时 需要 注意 两 点 ,首先 是 各 测试 阶段 发 生 的 修改 一 定 要 在 本 测试 阶段 
内 完成 回归 ,以 免 将 错误 遗留 到 下 一 测试 阶段 。 其 次 ,回归 测试 期 间 应 对 该 软件 版 本 冻结 ， 
将 回归 测试 发 现 的 问题 集中 修改 ,集中 回归 。 

在 实际 工作 中 ,可 以 将 回归 测试 与 兼容 性 测试 结合 起 来 进行 。 在 新 的 配置 条 件 下 运行 
旧 的 测试 可 以 发 现 兼容 性 问题 ,而 同时 也 可 以 揭示 编码 在 回归 方面 的 错误 。 


@.4 确认 测试 


经 过 集成 测试 后 ,软件 产品 已 基本 定型 。 确 认 测 试 (Validation Testing) 的 任务 是 验证 
软件 的 功能 ,性 能 及 其 他 特性 是 否 达到 需求 规格 说 明 书 的 要 求 。 若 达到 这 一 要 求 , 则 认为 开 
发 的 软件 是 合格 的 ,确认 测试 也 被 称 为 合格 性 测试 。 在 测试 规格 说 明 书 中 ,对 需求 规格 说 明 
中 的 要 求 做 进一步 的 细 化 ,用 于 指导 确认 测试 的 进行 。 

确认 测试 一 般 不 由 软件 开发 人 员 执行 ,而 应 由 软件 企业 中 独立 的 测试 部 门 或 第 三 方 测 
试 机 构 来 完成 。 

确认 测试 一 般 包 括 有 效 性 测试 和 软件 配置 复查 。 


3.4.1 有 效 性 测试 


有 效 性 测试 是 在 模拟 的 环境 下 ,运用 黑 盒 测试 的 方法 ,验证 被 测 软件 是 否 满足 需求 规格 
说 明 书 列 出 的 需求 。 为 此 ,需要 首先 制订 测试 计划 ,规定 要 做 测试 的 种 类 。 还 需要 制订 一 组 
测试 步骤 ,描述 具体 的 测试 用 例 。 通 过 实施 预定 的 测试 计划 和 测试 步骤 ,确定 软件 的 特性 是 
否 与 需求 相符 ,确保 所 有 的 软件 功能 、 性 能 需求 都 能 得 到 满足 ,所 有 的 文档 都 是 正确 且 便于 
使 用 的 。 同 时 ,对 其 他 软件 需求 (可 移植 性 、 兼 容 性 .出错 自动 恢复 .可 维护 性 等 ) 也 都 要 进行 
测试 。 

经 过 确认 测试 ,应 该 为 已 开发 的 软件 给 出 结论 性 的 评价 。 

(1) 经 过 检验 的 软件 的 功能 、 性 能 及 其 他 要 求 均 已 满足 需求 规格 说 明 书 的 规定 , 则 可 被 
认为 是 合格 的 软件 。 

(2) 经 过 检验 发 现 与 需求 说 明 书 有 相当 的 偏离 , 则 要 求 得 到 一 个 各 项 缺陷 清单 。 


3.4.2 配置 审查 


确认 测试 过 程 的 重要 环节 就 是 配置 审查 工作 。 其 目的 在 于 确保 已 开发 软件 的 所 有 文件 
资料 均 已 编写 齐全 ,并 得 到 分 类 编目 ,足以 支持 运行 以 后 的 软件 维护 工作 。 

配置 审查 的 文件 资料 包括 用 户 所 需 的 以 下 资料 : 

用 户 手册 : 用 于 指导 用 户 如 何 安装 、 使 用 软件 和 获得 服务 与 援助 的 相关 资料 ,有 时 也 包 
括 软 件 使 用 的 案例 。 

操作 手册 : 软件 中 进行 各 项 使 用 操作 的 具体 步骤 和 程序 方法 。 

设计 资料 : 设计 说 明 书 、 源 程序 以 及 测试 资料 (测试 说 明 书 、 测 试 报告 ) 等 。 
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T 系统 测试 


3.5.1 系统 测试 概念 


系统 测试 是 将 已 经 通过 确认 测试 的 软件 作为 整个 计算 机 系统 的 一 部 分 ,与 系统 中 的 硬 
件 、 外 设 、 网 络 等 其 他 元 素 结合 在 一 起 ,在 实际 运行 环境 或 模拟 系统 运行 环境 下 ,测试 其 与 系 
统 中 其 他 元 素 能 否 实现 正确 连接 ,以 满足 用 户 的 所 有 需求 。 

系统 测试 的 任务 是 通过 与 系统 的 需求 定义 比较 ,发 现 软件 与 系统 的 定义 不 符合 的 地 方 。 

显然 ,系统 测试 已 超出 了 对 软件 进行 测试 的 范围 ,但 软件 在 整个 系统 中 往往 占据 重要 的 
位 置 ,软件 的 质量 对 系统 测试 的 成 功 与 否 有 极 大 的 影响 。 一 个 软件 能 够 顺利 通过 系统 测试 ， 
是 对 其 质量 的 最 佳 诠释 。 

与 确认 测试 一 样 , 系 统 测 试 一 般 不 由 软件 开发 人 员 执行 ,而 应 由 软件 企业 中 独立 的 测试 
部 门 或 第 三 方 测试 机 构 完 成 。 

系统 测试 阶段 使 用 黑 盒 测 试 方法 设计 测试 用 例 , 完 成 对 整个 系统 的 测试 。 


3.5.2 系统 测试 的 主要 类 型 


系统 测试 的 测试 类 型 包括 : 
功能 测试 (Functional Testing) 

。 人 性 能 测试 (Performance Testing) 

。 安全 性 测试 (Security Testing) 

。 负载 测试 (Load Testing) 

。 强度 测试 (Stress Testing) 

。 容量 测试 (Volume Testing) 

。 配置 测试 (Configuration Testing) 

。 故障 恢复 测试 (Recovery Testing) 

。 安装 测试 (Installation Testing) 

。 文 档 测试 (Documentation Testing) 

。 用 户 界面 测试 (GUI Testing) 
其 中 ,功能 测试 ,性 能 测试 .配置 测试 ,安装 测试 等 在 一 般 情况 下 是 必需 的 。 而 其 他 的 测试 类 
型 则 需要 根据 软件 项 目的 具体 要 求 进行 裁剪 。 


1. 功能 测试 


功能 测试 又 称 正确 性 测试 , 它 检查 被 测试 软件 的 功能 是 否 符合 规格 说 明 的 要 求 ,侧重 于 
所 有 可 直接 追踪 到 功能 描述 或 业务 功能 和 业务 规则 的 测试 需求 。 功 能 测试 的 目标 是 核实 数 
据 的 接收 、 处 理 和 检索 是 否 正确 以 及 业务 规则 的 实施 是 否 恰当 。 功 能 测试 按照 软件 系统 的 
需求 规格 说 明 书 所 规定 的 系统 功能 说 明 , 通 过 系统 测试 用 例 的 实施 ,以 验证 被 测试 软件 是 否 
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满足 需求 。 它 主要 采用 黑 盒 测 试 技术 设计 系统 测试 用 例 。 
2. 性 能 测试 


性 能 测试 对 响应 时 间 、 事 务 处 理 速 率 和 其 他 与 时 间 相 关 的 需求 进行 评测 和 评估 ,检查 系 
统 是 否 满足 需求 规格 说 明 书 中 规定 的 性 能 。 性 能 测试 主要 关注 被 测 系统 的 事务 处 理 速率 和 
响应 时 间 等 性 能 指标 。 压 力 测 试 、 负 载 测 试 ,疲劳 测试 .强度 测试 .容量 测试 等 是 常见 的 性 能 
测试 类 型 。 

通常 ,对 软件 性 能 的 测试 表现 在 : 对 资源 利用 (如 内 存 、.CPU 等 ) 进 行 的 精确 度量 .响应 
时 间 吞吐 量 、 辅 助 存储 区 (例如 缓冲 区 .工作 区 的 大 小 等 )、. 处 理 精度 等 几 个 方面 。 

1) 压力 测试 和 负载 测试 

压力 测试 (Stress Testing) 和 负载 测试 是 改变 应 用 程序 的 输入 ,以 对 应 用 程序 施加 越 来 
越 大 的 负载 ,通过 综合 分 析 交 易 执 行 指标 和 资源 监控 指标 ,评测 和 评估 应 用 系统 在 不 同 负载 
条 件 下 的 性 能 的 行为 。 

压力 测试 的 目的 主要 体现 在 以 下 三 个 方面 : 

(1) 以 真实 的 业务 为 依据 ,选择 有 代表 性 的 、 关 键 的 业务 操作 设计 测试 案例 ,以 评价 系 
统 的 当前 性 能 。 

(2) 当 扩展 应 用 程序 的 功能 或 新 的 应 用 程序 将 要 被 部 署 时 ,压力 测试 帮助 确定 系统 是 
和 否 还 能 够 处 理 期 望 的 用 户 负载 ,以 预测 系统 的 未 来 性 能 。 

C3) 通过 模拟 成 百 上 千 用户 , 重 复 执行 和 和 运行 测试 ,可 以 确认 性 能 瓶颈 ,获得 系统 能 提 
供 的 最 大 服务 级 别 ,并 调整 应 用 以 优化 其 性 能 。 例 如 ,测试 一 个 Web 站 点 在 大 量 负荷 下 , 何 
时 系统 的 响应 会 退化 或 失败 。 

压力 测试 是 测试 在 一 定 的 负荷 条 件 下 ,长 时 间 连 续 运 行 系统 给 系统 性 能 造成 的 影响 。 
负载 测试 是 测试 在 一 定 的 工作 负荷 下 ,给 系统 造成 的 负荷 及 系统 响应 的 时 间 。 

负载 测试 可 以 采用 手动 和 自动 两 种 方式 。 手 动 测试 会 遇 到 很 多 问题 ,如 无 法 模拟 太 多 
用 户 ,测试 者 很 难 精确 记录 相应 时 间 .连续 测试 和 重复 测试 的 工作 量 特别 大 等 。 因 此 对 于 负 
载 测试 ,手动 方式 通常 用 于 初级 的 负载 测试 。 目 前 , 绝 大 多 数 的 负载 测试 都 是 通过 自动 化 工 
具 完 成 的 。 

负载 测试 主要 的 测试 指标 包括 交易 处 理性 能 指标 和 资源 指标 。 其 中 ,交易 处 理性 能 指 
标 包 括 交易 结果 、 每 分 钟 交易 数 .交易 响应 时 间 ( 有 最 小 .平均 和 最 大 服务 器 响应 时 间 等 ) 和 
虚拟 并 发 用 户 数 。 

2) 疲劳 测试 

疲劳 测试 采用 系统 稳定 运行 情况 下 能 够 支持 的 最 大 并 发 用 户 数 ,持续 运行 一 段 时 间 业 
务 , 通 过 综合 分 析 交 易 执行 指标 和 资源 监控 卡 指标 可 以 确定 系统 处 理 最 大 业务 量 时 的 性 能 。 
疲劳 测试 的 主要 目的 是 测试 系统 的 稳定 性 ,同时 它 也 是 对 应 用 系统 并 发 性 能 的 测试 。 

3) 强度 测试 

强度 测试 (Intensity Testing) 的 目的 是 找 出 由 于 资源 不 足 或 资源 争 用 而 导致 的 错误 。 
如 果 内 存 或 磁盘 不 足 , 测 试 对 象 就 可 能 会 表现 出 一 些 在 正常 条 件 下 并 不 明显 的 缺陷 ; 而 其 
他 缺陷 则 可 能 是 由 于 争 用 共享 资源 而 造成 的 。 强 度 测试 还 可 用 于 确定 测试 对 象 能 够 处 理 的 
最 大 工作 量 。 
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4) 容量 测试 
容量 测试 (Volume Testing) 通 常 与 数据 库 有 关 , 其 目的 在 于 使 系统 承受 超额 的 数据 容 
量 来 确定 系统 的 容量 瓶颈 (如 同时 在 线 的 最 大 用 户 数 ) ,进而 优化 系统 的 容量 处 理 能 力 。 


3. 安全 性 测试 


安全 性 测试 (Security Testing) 的 目的 在 于 检测 软件 系统 对 非法 入 侵 的 防范 能 力 , 它 是 
通过 模拟 软件 真实 运行 环境 下 攻击 者 的 操作 行为 ,如 通过 力图 截取 或 破译 系统 的 口令 、 破 坏 
系统 的 保护 机 制导 致 系统 出 现 故障 并 在 系统 恢复 过 程 中 企图 非法 进入 .通过 浏览 非 保密 数 
据 以 试图 推导 所 需 的 保密 信息 等 来 寻找 软件 架构 中 不 合理 之 处 和 编码 的 安全 隐患 。 

安全 性 测试 非常 灵活 ,需要 像 黑 客 一 样 思 考 , 有 时 甚至 需要 一 点 灵感 ,因此 没有 固定 的 
步骤 可 以 遵循 ,下 面 列 举 出 一 些 通 用 的 思路 和 方法 。 

CD 畸形 的 文件 结构 : 畸形 的 Word 文档 结构 ,畸形 的 MP3 文件 结构 等 都 可 能 触发 软 
件 中 的 漏洞 。 

(2) 畸形 的 数据 包 : 软件 中 存在 客户 端 和 服务 器 端的 时 候 ,往往 会 遵守 一 定 的 协议 进 
行 通信 。 程 序 员 在 实现 时 往往 会 假定 用 户 总 是 使 用 官方 的 软件 ,数据 结构 总 是 遵守 预先 设 
计 的 格式 。 试 着 自己 实现 一 个 伪造 的 客户 端 ,更 改 协议 中 的 一 些 约定 ,向 服务 器 发 送 畸 形 的 
数据 包 , 也 许 能 发 现 不 少 问题 ; 反之 ,客户 端 在 收 到 “出 人 意料 ”的 服务 器 端的 数据 包 时 ,也 
TT AEB E 

(3) 用 户 输入 的 验证 : 所 有 的 用 户 输入 都 应 该 进行 限制 ,如 长 字符 串 的 截断 、 转 义 字符 
的 过 滤 等 。 在 Web 应 用 中 应 该 格外 注意 SQL 注入 和 XSS 注入 问题 ,SQL 命令 .空格 .引号 
等 敏感 字符 都 需要 得 到 恰当 的 处 理 。 

(4) 验证 资源 之 间 的 依赖 关系 : 程序 员 往 往 会 假设 某 个 dll 文件 是 存在 的 , 某 个 注册 表 
项 的 值 符合 一 定格 式 等 。 当 这 些 依 赖 关 系 无 法 满足 时 ,软件 往往 会 做 出 意 想不到 的 事情 。 
例如 , 某 些 软件 把 身份 验证 函数 放 在 一 个 dll 文件 中 , 当 程序 找 不 到 这 个 文件 时 ,身份 验证 
过 程 将 被 跳 过 。 

(5) 伪造 程序 输入 和 输出 时 使 用 的 文件 : 包括 dll 文件 .配置 文件 .数据 文件 ,临时 文件 
等 。 检 查 程序 在 使 用 这 些 外 部 的 资源 时 是 否 采取 了 恰当 的 文件 校 验 机 制 。 

(6) 古怪 的 路 径 表达 方式 : 有 时 软件 会 禁止 访问 某 种 资源 ,程序 员 在 实现 这 种 功能 时 
可 能 会 简单 地 禁用 该 资源 所 在 的 路 径 。 但 是 , Windows 的 路 径 表示 方式 多 种 多 样 , 很 容易 漏 掉 
一 些 路 径 。 例 如 , 表 3-2 列 出 的 是 一 些 对 Windows XP 下 计算 器 程序 访问 的 路 径 表 达 方式 。 


表 3-2 计算 机 程序 访问 路 径 


C:\windows\system32\calc. exe 普通 的 绝对 路 径 

C:/ windows/system32/calc. exe UNIX 路 径 格式 

NW? \C:\windows\system32\calc. exe 通过 浏览 器 或 run 访问 
file://C:\windows\system32\calc. exe 通过 浏览 器 或 run 访问 
% windir 4 Nsystem32Ncalc. exe 通过 环境 变量 访问 
\\127. 0. 0. 1\c $ NwindowsNsystem32Vcalc. exe 需要 共享 C 盘 
C:\windows\. . \windows\. Nsystem32Vcalc. exe [ETAGE] 


C; Wwindows V. \system32\calc. exe 路 径 回 淹 


第 3 章 ”软件 测试 流程 


在 使 用 了 utf-8 编码 之 后 的 url 路 径 更 加 五 花 八 门 ,在 做 安全 测试 时 应 该 确认 被 禁止 使 
用 的 资源 能 够 彻底 被 禁用 。 
(7) 异常 处 理 : 确保 系统 的 异常 能 够 得 到 恰当 的 处 理 。 


4. 健壮 性 测试 


健壮 性 是 指 在 异常 情况 下 ,软件 能 继续 正常 运行 的 能 力 。 健 壮 性 有 两 层 含义 : 一 是 容 
错 能 力 , 二 是 恢复 能 力 。 因 而 健壮 性 测试 (Robustness Testing) 包 括 容错 性 测试 (Fault 
Tolerance Testing) 和 恢复 性 测试 (Recoverability Testing) 。 

1) 容错 性 测试 

进行 容错 性 测试 时 ,通常 构造 一 些 不 合理 的 输入 来 引诱 软件 出 错 ,观察 其 能 否 正常 工 
作 。 例 如 ,输入 不 合理 的 月 份 , 输 入 与 数据 类 型 要 求 不 符 的 数据 ; 又 如 在 测试 C/S 模式 的 软 
件 时 ,把 网 络 线 拔 掉 造成 通信 噶 常 中 断 等 。 

2) 恢复 性 测试 

恢复 性 测试 的 含义 是 将 系统 置 于 极端 条 件 下 (或 者 是 模拟 的 极端 条 件 下 ) ,迫使 其 发 生 
故障 (如 设备 1/O 故障 或 无 效 的 数据 库 指针 和 关键 字 ), 检 查 系 统 恢复 正常 工作 状态 的 
能 力 。 

若 系 统 能 自动 进行 恢复 ,应 检查 的 项 目 包括 : 重新 初始 化 ,检验 点 设置 机 构 、 数 据 恢 复 
及 重新 启动 ; 车 需 人 工 干预 进行 恢复 ,还 需 测试 系统 的 评价 修复 时 间 ,判定 其 是 否 在 限定 的 
时 间 范 围 内 。 

恢复 性 测试 还 需 对 系统 的 故障 转移 能 力 进行 评判 。 故 障 转移 指 当主 机 软 硬 件 发 生 故 障 
时 ,备份 机 器 能 及 时 启动 ,使 系统 继续 正常 运行 ,以 避免 丢失 任何 数据 或 事务 。 这 对 于 电信 、 
银行 等 领域 处 理 重要 事务 的 软件 是 十 分 重要 的 。 


5. 可 靠 性 测试 


可 靠 性 (Reliability) 是 指 在 一 定 的 环境 下 ,系统 不 发 生 故 障 的 概率 。 由 于 软件 不 像 硬 件 
那样 可 以 加 速 老 化 ,软件 可 靠 性 测试 (Reliability Testing) 可 能 会 花费 很 长 时 间 。 

为 解决 这 一 问题 ,比较 实用 的 方法 是 让 用 户 使 用 系统 ,记录 每 一 次 发 生 故 障 的 时 刻 。 计 
算出 相 邻 故障 的 时 间 间 隔 (注意 去 除非 工作 时 间 )。 这 样 便 可 以 方便 地 统计 出 不 发 生 故 障 的 
最 小 时 间 间 隔 、 最 大 时 间 间 隔 和 平均 时 间 间 隔 。 其 中 ,平均 时 间 间 隔 也 可 称 为 平均 无 故障 时 
间 ,在 很 大 程度 上 代表 了 软件 系统 的 可 靠 性 。 


6. 配置 测试 和 兼容 性 测试 


兼容 性 测试 (Compatibility Testing) 有 时 也 被 称 为 配置 测试 (Configuration Testing) . 
但 它们 的 含义 略 有 不 同 。 一 般 来 说 ,配置 测试 的 目的 是 保证 软件 在 其 相关 的 硬件 上 能 够 正 
常 运行 ,而 兼容 性 测试 主要 是 指 测试 软件 能 否 与 其 他 软件 协作 运行 。 

配置 和 兼容 性 测试 通常 对 开发 系统 类 软件 比较 重要 ,如 驱动 程序 、 操 作 系统 .数据 库 管 
理 系 统 等 。 

配置 测试 的 核心 内 容 就 是 使 用 各 种 硬件 来 测试 软件 的 运行 情况 ,一 般 包括 如 下 情况 : 

。 软件 在 安装 不 同类 型 CPU 的 机 器 上 的 运行 情况 。 
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。 软件 在 安装 不 同 厂商 的 浏览 器 时 的 运行 情况 。 

* 软件 在 不 同 组 件 上 的 运行 情况 ,例如 要 测试 开发 的 拨号 程序 在 不 同 厂商 生产 的 
Modem 上 的 运行 情况 。 

* 不同 的 外 设 。 

。 不 同 的 接口 。 

。 不 同 的 可 选项 ,如 不 同 的 内 存 容量 等 。 

兼容 性 测试 的 核心 内 容 如 下 : 

。 软件 是 否 能 在 不 同 的 操作 系统 平台 上 兼容 。 

。 软件 是 否 能 在 同一 操作 系统 平台 的 不 同 版 本 上 兼容 。 

* 软件 本 身 能 否 向 前 或 向 后 兼容 。 

。 软件 能 否 与 其 他 相关 的 软件 兼容 。 

。 数据 兼容 测试 , 即 测试 能 否 与 其 他 软件 共享 数据 。 


7. 用 户 界 面 测试 


目前 ,大 多 数 软件 都 具有 图 形 用 户 界面 GUI(Graphic User Interface) 。 因 为 GUI 开发 
环境 有 可 复 用 的 构件 ,开发 用 户 界面 更 加 省 时 而 且 更 加 准确 ,但 GUI 的 复杂 性 也 增加 了 ,从 
而 加 大 了 设计 和 执行 测试 用 例 的 难度 。GUI 测试 的 重点 是 图 形 用 户 界 面 的 正确 性 、 易 用 性 
和 视觉 效果 。 因 为 现在 的 GUI 设计 和 实现 有 了 越 来 越 多 的 相似 之 处 ,所 以 也 就 产生 了 一 系 
列 测试 标准 。 下 列 问 题 可 以 作为 常见 GUI 测试 的 指南 。 

1) 窗 体 的 测试 

(1) 窗 体 的 大 小 : 窗 体 的 大 小 要 合适 ,使 内 部 控件 布局 合理 ,不 过 于 密集 ,也 不 过 于 
空旷 。 
(2) 窗 体 的 位 置 : 对 于 主 窗 体 ,其 正中 应 该 与 显示 屏 正中 一 致 ; 对 于 子 窗 体 , 一 般 应 在 
父 窗 体 显示 区 的 中 间 。 

(3) 移动 窗 体 : 快速 或 慢 速 移动 窗 体 ,背景 及 窗 体 本 身 刷新 必须 正确 。 

(4) 缩放 窗 体 : 鼠标 拖 动 、 最 大 化 .还原 、 最 小 化 按钮 。 

(5) 显示 分 辩 率 。 

(6) 宽屏 和 普 屏 : 宽屏 和 普 屏 的 显示 器 ,界面 显示 效果 可 能 不 一 样 。 

2) 标题 栏 的 测试 

CD 标题 图 标 : 不 同窗 体 的 图 标 要 易于 分 辩 。 

(2) 标题 内 容 : 标题 的 内 容 要 简明 扼要 , 且 不 能 有 错别字 。 

3) 菜单 栏 的 测试 

CD 菜单 深度 最 好 不 超过 3 层 。 

(2) 菜单 通常 使 用 5 号 字体 。 

(3) 菜单 前 的 图 标 不 宜 太 大 ,与 字 高 保持 一 臻 最 好 。 

(4) 各 项 菜单 是 否 能 完成 相应 功能 。 

(5) 各 菜单 与 其 完成 的 功能 是 否 一 致 。 

(6) 有 无 错别字 。 

(7) 有 无 中 英文 混合 。 
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(8) 快捷 键 或 热 键 。 

(9) 鼠标 右键 菜单 。 

(10) 不 可 用 菜单 是 否 真 的 不 可 用 (这 在 不 同 权限 下 会 出 现 )。 

4) 工具 栏 的 测试 

(1) 工具 栏 中 通常 使 用 5 号 字体 ,工具 栏 一 般 比 菜单 栏 略 宽 。 

(2) 相近 功能 的 工具 栏 放 在 一 起 。 

(3) 工具 栏 的 按钮 要 有 即时 提示 信息 ,图 标 要 能 直观 地 表达 要 完成 的 操作 。 

(4) 一 条 工具 栏 的 长 度 最 长 不 能 超过 屏幕 宽度 。 

(5) 系统 常用 的 工具 栏 设 置 默 认 放置 位 置 。 

(6) 工具 栏 太 多 时 可 以 考虑 使 用 工具 箱 ,由 用 户 根据 自己 的 需求 定制 。 

5) 状态 栏 的 测试 

(1) 显示 用 户 切实 需要 的 信息 ,如 目前 的 操作 ,系统 的 状态 .当前 位 置 .时 间 , 用 户 信息 、 提 
示 信 息 、 错 误 信息 等 ,如 果 某 一 操作 需要 的 时 间 比 较 长 ,还 应 该 显示 进度 条 和 进程 提示 。 

(2) 状态 条 的 高 度 以 放置 5 号 字 为 宜 。 

6) 控件 的 测试 

CD 控件 自身 的 测试 ,包括 大 小 、 位 置 .字体 等 。 

(2) 控件 的 功能 测试 ,包括 文本 框 `\Up-Down 控件 文本 框 ` 组 合 列表 框 ( 下 拉 列 表 框 )、 
列表 框 、 命 令 按钮 单 选 按钮 ( 单 选 框 )、 复 选 框 , 滚 动 条 等 。 

(3) 各 种 控件 混合 使 用 时 的 测试 ,包括 控件 间 的 相互 作用 、Tab 键 的 顺序 、 热 键 的 使 用 、 
Enter 键 和 Esc 键 的 使 用 、 控 件 组 合 后 功能 的 实现 等 。 


8. 文档 测试 


文档 测试 (Documentation Testing) 主要 是 指 对 提交 给 用 户 的 文档 进行 的 测试 。 这 是 一 
项 十 分 重要 的 测试 。 文 档 测试 的 对 象 主要 包括 : 包装 文字 和 图 形 ,市 场 宣传 材料 .广告 及 其 
他 插页 ,授权 、 注 册 登 记 表 , 最 终 用 户 许可 协议 ,安装 和 设置 向 导 , 用 户 手册 ,联机 帮助 , 样 例 、 
示例 和 模板 。 

文档 测试 的 目的 是 提高 易 用 性 和 可 靠 性 ,降低 技术 支持 费用 ,尽量 使 用 户 通过 文档 自行 
解决 问题 。 因 此 ,文档 测试 主要 包括 如 下 检查 内 容 : 

CD 文档 的 内 容 是 否 能 让 不 同 级 别 的 读者 理解 。 

(2) 文档 中 的 术语 是 否 适合 读者 。 

(3) 内 容 和 主题 是 否 合适 。 

(4) 图 表 的 准确 度 和 精确 度 如 何 。 

(5) 样 例 和 示例 是 否 与 软件 功能 一 致 。 

(6) 拼写 和 语法 是 否 准确 。 

(7) 文档 是 否 与 其 他 相关 文档 的 内 容 一 致 ,例如 是 否 与 广告 信息 一 致 。 


9. 安装 测试 和 印 载 测试 


1) 安装 测试 
安装 测试 (Installation Testing) 的 目的 是 确认 如 下 方面 能 否 实现 : 
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(1) 安装 程序 能 够 正确 运行 。 

(2) 软件 安装 正确 。 

(3) 软件 安装 后 能 够 正常 运行 。 

安装 测试 应 着 重 关注 如 下 方面 ， 

(1) 安装 手册 中 的 所 有 步骤 得 到 验证 。 

(2) 安装 过 程 中 所 以 默认 选项 得 到 验证 。 

(3) 安装 过 程 中 典型 选项 得 到 验证 。 

(4) 测试 各 种 不 同 的 安装 组 合 ,并 验证 各 种 不 同 组 合 的 正确 性 ,包括 参数 组 合 、 控 件 执 
行 顺 序 组 合 ,产品 安装 组 件 组 合 .产品 组 件 安装 顺序 组 合 等 。 

(5) 对 安装 过 程 中 异常 配置 或 状态 (非法 和 不 合理 配置 ) 情 况 进 行 测试 ,例如 断 电 、 网 络 
失效 ,数据库 失效 等 。 

(6) 安装 后 是 否 能 生成 正确 的 目录 结构 和 文件 。 

(7) 安装 后 动态 库 是 否 正确 。 

(8) 安装 后 软件 能 否 正常 运行 。 

(9) 安装 后 是 否 会 形成 多 余 的 目录 结构 ,文件 、 注 册 表 信息 ,快捷 方式 等 。 

(10) 安装 测试 是 否 在 所 有 的 运行 环境 上 进行 了 验证 ,例如 操作 系统 数据库 硬件 环 
境 、 网 络 环境 等 。 

aD 能 否 在 笔记 本 上 进行 安装 (很 多 产品 在 笔记 本 上 安装 时 会 出 现 问题 ,尤其 是 系统 
级 产品 ) 。 

(12) 安装 软件 后 是 否 会 对 操作 系统 或 某 些 应 用 程序 造成 不 良 影响 。 

(13) 是 否 可 以 识别 大 部 分 硬件 。 

(14) 确认 打包 程序 的 特性 ,不 同 的 打包 发 布 程序 所 支持 的 系统 都 是 不 一 样 的 。 

(15) 空间 不 足 ( 如 安装 过 程 中 向 安装 盘 放 入 大 量 文件 ) 时 安装 情况 如 何 。 

2) igi 

TRI HII PX CUninstallation Testing) 应 重点 关注 如 下 方面 : 

CD 在 不 同 的 卸载 方式 下 卸载 。 例 如 程序 白带 卸载 程序 .系统 的 控件 面板 印 载 . 通 过 其 
fb FH aA. 

(2) 软件 在 运行 .暂停 .终止 等 各 种 状态 时 的 印 载 。 

(3) 非 正常 卸载 情况 ,如 在 印 载 软件 过 程 中 取消 卸载 进程 ,然后 观察 软件 能 否 继续 正常 
使 用 。 

(4) 冲击 外 载 。 即 在 印 载 的 过 程 中 中 断 电 源 ,启动 计算 机 后 ,重新 卸载 软件 。 

(5) 在 不 同 的 运行 环境 (如 操作 系统 、 数 据 库 \ 硬 件 环 境 、 网 络 环境 等 ) 下 进行 秃 载 。 

(6) 能 否 在 笔记 本 上 进行 卸载 。 

(7) 务 载 后 是 否 对 操作 系统 或 其 他 应 用 程序 造成 不 良 影响 。 

O 撮 载 过 程 中 是 否 删除 了 系统 应 保留 的 用 户 数据 。 

(9) 撮 载 后 系统 能 否 恢复 到 软件 安装 前 的 状态 ,包括 快捷 方式 .目录 结构 动态 链接 库 、 
注册 表 系统 配置 文件 .驱动 程序 .关联 情况 等 。 
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3.5.3 Web 系统 的 测试 方法 


随 着 Internet 和 Intranet/Extranet 的 快速 增长 ,Web 已 经 对 商业 工业、 银行 、 财 政教 
育 、 政 府 和 娱乐 及 我 们 的 工作 和 生活 产生 了 深远 的 影响 。 许 多 传统 的 信息 和 数据 库 系 统 正 
在 被 移植 到 互联 网 上 ,电子 商务 迅速 增长 ,早已 超过 了 国界 。 范 围 广泛 的 、 复 杂 的 分 布 式 应 
用 正在 Web 环境 中 出 现 。Web 的 流行 和 无 所 不 在 ,是 因为 它 能 提供 支持 所 有 类 型 内 容 连 
接 的 信息 发 布 ,容易 为 最 终 用 户 存 取 。 

国外 学 者 在 1998 年 就 提出 了 Web 工程 的 概念 。Web 工程 作为 一 门 新 兴 的 学 科 , 提 倡 
使 用 一 个 过 程 和 系统 的 方法 来 开发 高 质量 的 基于 Web 的 系统 。 它 使 用 合理 的 、 科 学 的 工程 
和 管理 原则 ,用 严密 的 和 系统 的 方法 来 开发 发布 和 维护 基于 Web 的 系统 。 目 前 ,对 于 
Web 工程 的 研究 主要 是 在 国外 开展 的 ,国内 还 刚刚 起 步 。 

在 基于 Web 的 系统 开发 中 ,如 果 缺 乏 严 格 的 过 程 ,我 们 在 开发 .发布 .实施 和 维护 Web 
的 过 程 中 ,可 能 就 会 碰 到 一 些 严 重 的 问题 ,失败 的 可 能 性 很 大 。 而 且 , 随 着 基于 Web 的 系统 
变 得 越 来 越 复 杂 , 一 个 项 目的 失败 将 可 能 导致 很 多 问题 。 当 这 种 情况 发 生 时 ,我 们 对 Web 
和 Internet 的 信心 可 能 会 无 法 挽救 地 动摇 ,从 而 引起 Web 危机 。 并 且 , Web 危机 可 能 会 比 
软件 开发 人 员 所 面 对 的 软件 危机 更 加 严重 、 更 加 广泛 。 

在 Web 工程 过 程 中 ,基于 Web 系统 的 测试 ,确认 和 验收 是 一 项 重要 而 富有 挑战 性 的 工 
作 。 基 于 Web 的 系统 测试 与 传统 的 软件 测试 不 同 , 它 不 但 需要 检查 和 验证 是 否 按照 设计 的 
要 求 运 行 ,而 且 还 要 测试 系统 在 不 同 用 户 的 浏览 器 端的 显示 是 否 合适 。 重 要 的 是 ,还 要 从 最 
终 用 户 的 角度 进行 安全 性 和 可 用 性 测试 。 然 而 ,Internet 和 Web 媒体 的 不 可 预见 性 使 测试 
基于 Web 的 系统 变 得 困难 。 因 此 ,我们 必须 为 测试 和 评估 复杂 的 基于 Web 的 系统 研究 新 
的 方法 和 技术 。 

一 般 软件 的 发 布 周 期 以 月 或 以 年 计算 ,而 Web 应 用 的 发 布 周期 以 天 计算 甚至 以 小 时 计 
算 。Web 测试 人 员 必 须 处 理 更 短 的 发 布 周期 ,测试 人 员 和 测试 管理 人 员 面 临 着 从 测试 传统 
的 C/S 结构 和 框架 环境 到 测试 快速 改变 的 Web 应 用 系统 的 转变 。 


1. 功能 测试 


1) 链接 测试 

链接 是 Web 应 用 系统 的 一 个 主要 特征 , 它 是 在 页 面 之 间 切 换 和 指导 用 户 去 一 些 不 知道 
地 址 的 页 面 的 主要 手段 。 链 接 测 试 可 分 为 三 个 方面 。 首 先 , 测 试 所 有 链接 是 否 按 指示 的 那 
样 确实 链接 到 了 该 链接 的 页 面 ; 其 次 ,测试 所 链接 的 页 面 是 否 存 在 ; 最 后 ,保证 Web 应 用 系 
统 上 没有 孤立 的 页 面 ,所 谓 孤 立 页 面 是 指 没有 链接 指向 该 页 面 , 只 有 知道 正确 的 URL 地 址 
才能 访问 。 

链接 测试 可 以 自动 进行 ,现在 已 经 有 许多 工具 可 以 采用 。 链 接 测 试 必须 在 集成 测试 阶 
段 完成 ,也 就 是 说 ,在 整个 Web 应 用 系统 的 所 有 页 面 开 发 完成 之 后 进行 链接 测试 。 

2) 表单 测试 

当 用 户 给 Web 应 用 系统 管理 员 提 交 信 息 时 ,就 需要 使 用 表单 操作 ,例如 用 户 注册 、 登 
录 、 信 息 提交 等 。 在 这 种 情况 下 ,我 们 必须 测试 提交 操作 的 完整 性 ,以 校 验 提 交 给 服务 器 的 
信息 的 正确 性 。 例 如 ,用 户 填写 的 出 生日 期 与 职业 是 否 恰当 ,填写 的 所 属 省 份 与 所 在 城市 是 
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否 匹配 等 。 如 果 使 用 了 默认 值 ,还 要 检验 默认 值 的 正确 性 。 如 果 表 单 只 能 接受 指定 的 某 些 
值 , 则 也 要 进行 测试 。 例 如 只 能 接受 某 些 字符 ,测试 时 可 以 跳 过 这 些 字符 ,看 系统 是 否 会 
报错 。 

3) Cookies 测试 

Cookies 通常 用 来 存储 用 户 信息 和 用 户 在 某 应 用 系统 的 操作 , 当 一 个 用 户 使 用 Cookies 
访问 了 某 一 个 应 用 系统 时 , Web 服务 器 将 发 送 关于 该 用 户 的 信息 ,把 该 信息 以 Cookies 的 形 
式 存 储 在 客户 端 计算 机 上 ,这 可 用 来 创建 动态 和 自 定义 页 面 或 者 存储 登录 等 信息 。 

如 果 Web 应 用 系统 使 用 了 Cookies, 就 必须 检查 Cookies 是 否 能 正常 工作 。 测 试 的 内 
容 可 以 包括 Cookies 是 否 起 作用 ,是 否 按 预定 的 时 间 进 行 保存 ,刷新 对 Cookies 有 什么 影 
响 等 。 

4) 设计 语言 测试 

Web 设计 语言 版 本 的 差异 可 以 引起 严重 的 客户 端 或 服务 器 端 问题 ,例如 使 用 哪 种 版 本 
的 HTML 等 。 当 在 分 布 式 环境 中 开发 时 ,开发 人 员 都 不 在 一 起 ,这 个 问题 就 显得 尤为 重 
要 。 除 了 HTML 的 版 本 问题 外 ,不 同 的 脚本 语言 , 例如 Java, JavaScript, ActiveX, 
VBScript 或 Perl 等 也 要 进行 验证 。 

5) 数据 库 测试 

在 Web 应 用 技术 中 ,数据 库 起 着 重要 的 作用 ,数据 库 为 Web 应 用 系统 的 管理 运行、 查 
询 和 实现 用 户 对 数据 存储 的 请 求 等 提供 空间 。 在 Web 应 用 中 ,最 常用 的 数据 库 类 型 是 关系 
型 数据 库 , 可 以 使 用 SQL 对 信息 进行 处 理 。 

在 使 用 了 数据 库 的 Web 应 用 系统 中 ,一 般 情 况 下 ,可 能 发 生 两 种 错误 ,分 别 是 数据 一 臻 
性 错误 和 输出 错误 。 数 据 一 致 性 错误 主要 是 由 于 用 户 提 交 的 表单 信息 不 正确 而 造成 的 ,而 
输出 错误 主要 是 由 于 网 络 速度 或 程序 设计 问题 等 引起 的 ,针对 这 两 种 情况 ,可 分 别 进行 
测试 。 

2. 性 能 测试 


1) 连接 速度 测试 

用 户 连接 到 Web 应 用 系统 的 速度 根据 上 网 方式 的 变化 而 变化 ,他 们 或 许 是 电话 拨号 ， 
或 许 是 宽带 上 网 。 当 下 载 一 个 程序 时 ,用 户 可 以 等 较 长 的 时 间 , 但 如 果 仅仅 访问 一 个 页 面 就 
不 会 这 样 。 如 果 Web 系统 响应 时 间 太 长 (例如 超过 5 秒 钟 ) ,用 户 就 会 因 没 有 耐心 等 待 而 
离开 。 

另外 ,有 些 页 面 有 超时 的 限制 ,如 果 响 应 速度 太 慢 ,用 户 可 能 还 没 来 得 及 浏览 内 容 , 就 需 
要 重新 登录 了 。 而 且 ,连接 速度 太 慢 ,还 可 能 引起 数据 丢失 ,使 用 户 得 不 到 真实 的 页 面 。 

2) 负载 测试 

负载 测试 是 为 了 测量 Web 系统 在 某 一 负载 级 别 上 的 性 能 ,以 保证 Web 系统 在 需求 范 
围 内 能 正常 工作 。 负 和 载 级 别 可 以 是 某 个 时 刻 同时 访问 Web 系统 的 用 户 数量 ,也 可 以 是 在 线 
数据 处 理 的 数量 。 例 如 , Web 应 用 系统 能 允许 多 少 个 用 户 同时 在 线 ? 如 果 超 过 了 这 个 数 
量 ,会 出 现 什么 现象 ?Web 应 用 系统 能 和 否 处 理 大 量 用 户 对 同一 个 页 面 的 请 求 ? 

3) 压力 测试 

负载 测试 应 该 安排 在 Web 系统 发 布 以 后 ,在 实际 的 网 络 环境 中 进行 测试 。 因 为 一 个 企 
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业 的 内 部 员工 ,特别 是 项 目 组 人 员 总 是 有 限 的 ,而 一 个 Web 系统 能 同时 处 理 的 请 求 数量 将 
远 远 超出 这 个 限度 ,所 以 ,只 有 放 在 Internet. 上 ,接受 负载 测试 ,其 结果 才 是 正确 可 信 的 。 
进行 压力 测试 是 指 实际 破坏 一 个 Web 应 用 系统 ,测试 系统 的 反映 。 压 力 测试 是 测试 系 
统 的 限制 和 故障 恢复 能 力 ,也 就 是 测试 Web 应 用 系统 会 不 会 崩溃 ,在 什么 情况 下 会 崩溃 。 
黑客 常常 提供 错误 的 数据 负载 ,直到 Web 应 用 系统 崩溃 ,接着 当 系 统 重新 启动 时 获得 存 
取 权 。 
压力 测试 的 区 域 包括 表单 .登录 和 其 他 信息 传输 页 面 等 。 


3. 可 用 性 测试 


1) 导航 测试 

导航 描述 了 用 户 在 一 个 页 面 内 操作 的 方式 ,在 不 同 的 用 户 接口 控制 之 间 , 例 如 按钮 、 对 
话 框 ,列表 和 窗口 等 ; 或 在 不 同 的 连接 页 面 之 间 。 通 过 考虑 下 列 问题 ,可 以 决定 一 个 Web 
应 用 系统 是 否 易于 导航 : 导航 是 否 直观 ? Web 系统 的 主要 部 分 是 否 可 通过 主页 存 取 ? Web 
系统 是 否 需要 站 点 地 图 .搜索 引擎 或 其 他 的 导航 帮助 ? 

在 一 个 页 面 上 放 太 多 的 信息 往往 起 到 与 预期 相反 的 效果 。Web 应 用 系统 的 用 户 趋向 
于 目的 驱动 ,很 快 地 扫描 一 个 Web 应 用 系统 ,看 是 否 有 满足 自己 需要 的 信息 ,如 果 没 有 ,就 
会 很 快 地 离开 。 很 少 有 用 户 愿 意 花 时 间 去 熟悉 Web 应 用 系统 的 结构 ,因此 Web 应 用 系统 
导航 帮助 要 尽 可 能 地 准确 。 

导航 的 另 一 个 重要 方面 是 Web 应 用 系统 的 页 面 结构 、 导 航 、 菜 单 、 连 接 的 风格 是 否 一 
致 。 确 保 用 户 赁 直觉 就 知道 Web 应 用 系统 里 面 是 否 还 有 内 容 , 内 容 在 什么 地 方 。 

Web 应 用 系统 的 层次 一 旦 决定 ,就 要 着 手 测试 用 户 导 航 功 能 ,让 最 终 用 户 参 与 这 种 测 
试 ,效果 将 更 加 明显 。 

2) 图 形 测试 

在 Web 应 用 系统 中 ,适当 的 图 片 和 动画 既 能 起 到 广告 宣传 的 作用 ,又 能 起 到 美化 页 面 
的 功能 。 一 个 Web 应 用 系统 的 图 形 可 以 包括 图 片 . 动 画 、 边 框 、 颜 色 、 字 体 、 背 景 按 钮 等 。 
图 形 测 试 的 内 容 有 : 

(1) 要 确保 图 形 有 明确 的 用 途 ,图 片 或 动画 不 要 胡乱 地 堆 在 一 起 ,以 免 浪 费 传输 时 间 。 
Web 应 用 系统 的 图 片 尺寸 要 尽量 地 小 ,并 且 要 能 清楚 地 说 明 某 件 事 情 ,一 般 都 链接 到 某 个 
具体 的 页 面 。 

(2) 验证 所 有 页 面 字体 的 风格 是 否 一 致 

(3) 背景 颜色 应 该 与 字体 颜色 和 前 景 颜 色相 搭配 。 

(4) 图 片 的 大 小 和 质量 也 是 一 个 很 重要 的 因素 ,一 般 采 用 JPG 或 GIF 格式 压缩 。 

3) 内 容 测试 

内 容 测试 用 来 检验 Web 应 用 系统 提供 信息 的 正确 性 、 准 确 性 和 相关 性 。 

信息 的 正确 性 是 指 信息 是 可 靠 的 还 是 误 传 的 。 例 如 ,在 商品 价格 列表 中 ,错误 的 价格 可 
能 引起 财政 问题 甚至 导致 法 律 纠纷 ; 信息 的 准确 性 是 指 是 否 有 语法 或 拼写 错误 。 这 种 测试 
通常 使 用 一 些 文字 处 理 软件 来 进行 ,例如 使 用 Microsoft Word 的 “拼音 与 语法 检查 ”功能 ; 
信息 的 相关 性 是 指 是 否 在 当前 页 面 可 以 找到 与 当前 浏览 信息 相关 的 信息 列表 或 入 口 ,也 就 
是 一 般 Web 站 点 中 的 所 谓 “ 相 关 文 章 列表 ”。 
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4) 整体 界面 测试 

整体 界面 是 指 整个 Web 应 用 系统 的 页 面 结 构 设 计 ,是 给 用 户 的 一 个 整体 感 。 例 如 , 当 
用 户 浏 览 Web 应 用 系统 时 是 否 感到 舒适 ,是 否 赁 直觉 就 知道 要 找 的 信息 在 什么 地 方 ? 整个 
Web 应 用 系统 的 设计 风格 是 否 一 致 ? 

对 整体 界面 的 测试 过 程 , 其 实 是 一 个 对 最 终 用 户 进行 调查 的 过 程 。 一 般 Web 应 用 系统 
采取 在 主页 上 做 一 个 调查 问卷 的 形式 ,来 得 到 最 终 用 户 的 反馈 信息 。 

对 所 有 的 可 用 性 测试 来 说 ,都 需要 有 外 部 人 员 ( 与 Web 应 用 系统 开发 没有 联系 或 联系 
很 少 的 人 员 ) 的 参与 ,最 好 是 最 终 用 户 的 参与 。 


4. 客户 端 兼容 性 测试 


1) 平台 测试 

市 场 上 有 很 多 不 同 的 操作 系统 类 型 ,最 常见 的 有 Windows, UNIX, Macintosh, Linux 
等 。Web 应 用 系统 的 最 终 用 户 究竟 使 用 哪 一 种 操作 系统 ,取决 于 用 户 系统 的 配置 。 这 样 ， 
就 可 能 会 发 生 兼容 性 问题 ,同一 个 应 用 可 能 在 某 些 操作 系统 下 能 正常 运行 ,但 在 另外 的 操作 
系统 下 可 能 会 运行 失败 。 

因此 ,在 Web 系统 发 布 之 前 ,需要 在 各 种 操作 系统 下 对 Web 系统 进行 兼容 性 测试 。 

2) 浏览 器 测试 

浏览 器 是 Web 客户 端 最 核心 的 构件 ,来 自 不 同 厂商 的 浏览 器 对 Java, JavaScript, 
ActiveX, Plug-ins 或 不 同 的 HTML 规格 有 不 同 的 支持 。 例 如 , ActiveX 是 Microsoft 的 产 
品 ,是 为 Internet Explorer 而 设计 的 ,JavaScript 是 Netscape 的 产品 ,Java 是 Sun 的 产品 等 
等 。 另 外 ,框架 和 层次 结构 风格 在 不 同 的 浏览 器 中 也 有 不 同 的 显示 ,其 至 根本 不 显示 。 不 同 
的 浏览 器 对 安全 性 和 Java 的 设置 也 不 一 样 。 

测试 浏览 器 兼容 性 的 一 个 方法 是 创建 一 个 兼容 性 矩阵 。 在 这 个 矩阵 中 ,测试 不 同 厂商 、 
不 同 版 本 的 浏览 器 对 某 些 构件 和 设置 的 适应 性 。 


5. 安全 性 测试 


Web 应 用 系统 的 安全 性 测试 区 域 主要 有 : 

(1) 现在 的 Web 应 用 系统 基本 采用 先 注册 ,后 登录 的 方式 。 因 此 ,必须 测试 有 效 和 无 
效 的 用 户 名 和 密码 ,要 注意 到 是 否 大 小 写 敏感 ,可 以 试 多 少 次 的 限制 ,是 否 可 以 不 登录 而 直 
接 浏 览 某 个 页 面 等 。 

(2) Web 应 用 系统 是 否 有 超时 的 限制 ,也 就 是 说 ,用 户 登 录 后 在 一 定时 间 内 (例如 15 分 
钟 ) 没 有 单 击 任何 页 面 , 是 否 需要 重新 登录 才能 正常 使 用 。 

(3) 为 了 保证 Web 应 用 系统 的 安全 性 ,日 志文 件 是 至 关 重 要 的 。 需 要 测试 相关 信息 是 
否 写 进 了 日 志文 件 . 是 否 可 追踪 。 

(4) 当 使 用 了 安全 套 接 字 时 ,还 要 测试 加 密 是 否 正确 ,检查 信息 的 完整 性 。 

(5) 服务 器 端的 脚本 常常 构成 安全 漏洞 ,这 些 漏洞 又 常常 被 黑客 利用 。 所 以 ,还 要 测试 
没有 经 过 授权 ,就 不 能 在 服务 器 端 放置 和 编辑 脚本 的 问题 。 
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6. 总 结 


本 节 从 功能 、 性 能 .可 用 人 性、 客户 端 兼容 性 .安全 性 等 方面 讨论 了 基于 Web 的 系统 测试 
方法 。 

基于 Web 的 系统 测试 与 传统 的 软件 测试 既 有 相同 之 处 ,也 有 不 同 的 地 方 ,对 软件 测试 
提出 了 新 的 挑战 。 基 于 Web 的 系统 测试 不 但 需要 检查 和 验证 是 否 按照 设计 的 要 求 运行 ,而 
且 还 要 评价 系统 在 不 同 用 户 的 浏览 器 端的 显示 是 否 合适 。 重 要 的 是 ,还 要 从 最 终 用户 的 角 
度 进行 安全 性 和 可 用 性 测试 。 


@.6 验收 测试 


3.6.1 验收 测试 概念 


验收 测试 (Acceptance Testing) 是 软件 正式 交付 使 用 之 前 的 最 后 一 个 阶段 ,相关 的 用 户 
和 测试 人 员 根 据 测试 计划 和 结果 对 系统 进行 测试 ,确定 产品 是 否 能 够 满足 合同 或 用 户 所 规 
定 需求 。 

验收 测试 是 部 署 软件 之 前 的 最 后 一 个 测试 操作 ,目的 是 确保 软件 准备 就 绪 , 并 且 可 以 让 
最 终 用 户 将 其 用 于 执行 软件 的 既定 功能 和 任务 。 

验收 测试 需要 制订 测试 计划 和 过 程 ,测试 计划 应 规定 测试 的 种 类 和 测试 进度 ,测试 过 程 
则 定义 一 些 特殊 的 测试 用 例 , 旨 在 说 明 软 件 与 需求 是 否 一 致 。 无 论 是 计划 还 是 过 程 ,都 应 该 
着 重 考 虑 软件 是 否 满足 合同 规定 的 所 有 功能 和 性 能 ,文档 资料 是 否 完整 ,准确 ,人 机 界面 和 
其 他 方面 (例如 可 移植 性 ,兼容 性 、 错 误 恢复 能 力 和 可 维护 性 等 ) 是 否 令 用 户 满意 。 验 收 测试 
的 结果 有 两 种 可 能 ,一 种 是 功能 和 性 能 指标 满足 软件 需求 说 明 的 要 求 , 用 户 可 以 接受 ; 另 一 
种 是 软件 不 满足 软件 需求 说 明 的 要 求 , 用 户 无 法 接受 。 


3.6.2 验收 测试 策略 


验收 测试 的 常用 策略 有 三 种 ,它们 分 别 是 : 正式 验收 、 非 正式 验收 或 Alpha 测试 、Beta 
测试 。 验 收 测试 策略 的 选择 通常 建立 在 合同 需求 .组 织 和 公司 标准 以 及 应 用 领域 的 基础 上 。 


1. 正式 验收 


正式 验收 测试 是 一 项 管理 严格 的 过 程 , 它 通常 是 系统 测试 的 延续 。 计 划 和 设计 这 些 测 
试 的 周密 和 详细 程度 不 亚 于 系统 测试 。 选 择 的 测试 用 例 应 该 是 系统 测试 中 所 执行 测试 用 例 
的 子 集 。 不 要 偏离 所 选择 的 测试 用 例 方向 ,这 一 点 很 重要 。 在 很 多 组 织 中 ,正式 验收 测试 是 
完全 自动 执行 的 。 

对 于 系统 测试 ,活动 和 工件 是 一 样 的 。 在 某 些 组 织 中 ,开发 组 织 ( 或 其 独立 的 测试 小 组 ) 
与 最 终 用 户 组 织 的 代表 一 起 执行 验收 测试 。 在 其 他 组 织 中 ,验收 测试 则 完全 由 最 终 用 户 组 
织 执行 ,或 者 由 最 终 用 户 组 织 选 择 人 员 组 成 一 个 客观 公正 的 小 组 来 执行 。 

这 种 测试 形式 的 优点 是 : 
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要 测试 的 功能 和 特性 都 是 已 知 的 。 

测试 的 细节 是 已 知 的 并 且 可 以 对 其 进行 评测 。 

测试 可 以 自动 执行 ,支持 回归 测试 。 

可 以 对 测试 过 程 进行 评测 和 监测 。 

可 接受 性 标准 是 已 知 的 。 

缺点 包括 : 

。 要 求 大 量 的 资源 和 计划 。 

。 测试 可 能 是 系统 测试 的 再 次 实施 。 

。 可 能 无 法 发 现 软件 中 由 于 主观 原因 造成 的 缺陷 ,这 是 因为 测试 时 只 查找 预期 要 发 现 
的 缺陷 。 


2. 非 正式 验收 测试 
非 正式 验收 测试 也 叫做 Alpha 测试 。 在 非 正式 验收 测试 中 ,执行 测试 过 程 的 限定 不 像 


正式 验收 测试 中 那样 严格 。 在 此 测试 中 ,确定 并 记录 要 研究 的 功能 和 业务 任务 ,但 没有 可 以 
遵循 的 特定 测试 用 例 ,测试 内 容 由 各 测试 员 决定 。 这 种 验收 测试 方法 不 像 正 式 验收 测试 那 
样 组 织 有 序 ,而 且 更 为 主观 。 


大 多 数 情况 下 , 非 正式 验收 测试 是 由 最 终 用 户 组 织 执行 的 。 

这 种 测试 形式 的 优点 是 : 

。 要 测试 的 功能 和 特性 都 是 已 知 的 。 

。 可 以 对 测试 过 程 进行 评测 和 监测 。 

。 可 接受 性 标准 是 已 知 的 。 

* 与 正式 验收 测试 相 比 , 可 以 发 现 更 多 由 于 主观 原因 造成 的 缺陷 。 
缺点 包括 : 

。 要 求 资源 .计划 和 管理 资源 。 

* 无 法 控制 所 使 用 的 测试 用 例 。 

* 最 终 用 户 可 能 沿用 系统 工作 的 方式 ,并 可 能 无 法 发 现 缺陷 。 

。 最 终 用 户 可 能 专注 于 比较 新 系统 与 遗留 系统 ,而 不 是 专注 于 查找 缺陷 。 
* 用 于 验收 测试 的 资源 不 受 项 目的 控制 ,并 且 可 能 受到 压缩 。 


3. Beta 测试 


与 其 他 验收 策略 相 比 ,Beta 测试 需要 的 控制 最 少 。 在 Beta 测试 中 ,采用 的 细节 多 少数 


据 和 方法 完全 由 各 测试 员 决定 。 各 测试 员 负责 创建 自己 的 环境 .选择 数据 ,并 决定 要 研究 的 
功能 、 特 性 或 任务 。 各 测试 员 负责 确定 自己 对 于 系统 当前 状态 的 接受 标准 。 


Beta 测试 由 最 终 用 户 实施 ,通常 开发 (或 其 他 非 最 终 用 户 ) 组 织 对 其 的 管理 很 少 或 不 进 


行 管理 。Beta 测试 是 所 有 验收 测试 策略 中 最 主观 的 。 


这 种 测试 形式 的 优点 是 : 
。 测试 由 最 终 用 户 实施 。 
。 大 量 的 潜在 测试 资源 。 
。 提高 客户 对 参与 人 员 的 满意 程度 。 
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。 与 正式 或 非 正式 验收 测试 相 比 , 可 以 发 现 更 多 由 于 主观 原因 造成 的 缺陷 。 
缺点 包括 : 

。 未 对 所 有 功能 和 /或 特性 进行 测试 。 

测试 流程 难以 评测 。 

最 终 用户 可 能 沿用 系统 工作 的 方式 ,并 可 能 没有 发 现 或 没有 报告 缺陷 。 
最 终 用户 可 能 专注 于 比较 新 系统 与 遗留 系统 ,而 不 是 专注 于 查找 缺陷 。 
用 于 验收 测试 的 资源 不 受 项 目的 控制 ,并 且 可 能 受到 压缩 。 

可 接受 性 标准 是 未 知 的 。 

需要 更 多 辅助 性 资源 来 管理 Beta 测试 员 。 


3.6.3 验收 测试 过 程 


CD 软件 需求 分 析 : 了 解 软件 功能 和 性 能 要 求 软 硬 件 环境 要 求 等 ,并 特别 要 了 解 软件 
的 质量 要 求 和 验收 要 求 。 

(2) 编制 (验收 测试 计划 》 和 《项 目 验 收 准 则 》: 根据 软件 需求 和 验收 要 求 编制 测试 计 
划 , 制 订 需 测试 的 测试 项 ,制订 测试 策略 及 验收 通过 准则 ,并 经 过 客户 参与 的 计划 评审 。 

(3) 测试 设计 和 测试 用 例 设计 : 根据 (验收 测试 计划 》 和 《项 目 验收 准则 》 编 制 测试 用 
例 , 并 经 过 评审 。 

(4) 测试 环境 搭建 : 建立 测试 的 硬件 环境 .软件 环境 等 (可 在 委托 客户 提供 的 环境 中 进 
行 测试 ) 。 

(5) 测试 实施 : 测试 并 记录 测试 结果 。 

(6) 测试 结果 分 析 : 根据 验收 通过 准则 分 析 测 试 结 果 ,做 出 验收 是 否 通过 及 测试 评价 。 

CT) 测试 报告 : 根据 测试 结果 编制 缺陷 报告 和 验收 测试 报告 ,并 提交 给 客户 。 
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本 章 对 测试 过 程 进 行 了 详细 描述 ,介绍 了 单元 测试 、 集 成 测试 .确认 测试 、 系 统 测试 和 验 
收 测试 等 测试 阶段 的 主要 任务 和 工作 重点 。 单 元 测试 关注 程序 模块 内 部 的 实现 细节 ,多 采 
用 白 盒 测试 技术 来 实现 ; 集成 测试 的 重点 在 于 集成 策略 的 选择 和 回归 测试 的 安排 ; 确认 测 
试 主要 进行 程序 的 有 效 性 测试 和 软件 配置 的 复查 ,为 后 期 的 系统 测试 做 准备 ; 系统 测试 更 
多 地 关注 整个 目标 系统 ,强调 软件 与 其 他 要 素 的 契合 度 , 其 中 ,性 能 测试 是 系统 测试 的 重点 ; 
验收 测试 是 交付 产品 前 的 最 后 工序 ,测试 工作 的 开展 应 以 用 户 为 主 。 

测试 活动 贯穿 整个 软件 生命 周期 ,不 同 的 阶段 需要 不 同 的 测试 手段 和 方式 。 读 者 在 掌 
握 各 测试 过 程 的 内 容 后 ,应 着 重 关注 测试 方式 的 灵活 性 和 测试 技术 的 多 样 性 。 


习题 


1. 请 描述 软件 开发 过 程 与 软件 测试 过 程 的 对 应 关系 。 
2. 什么 是 单元 ? 单元 测试 的 含义 是 什么 ? 


94 /软件 测试 实践 教程 
N^ 


. 单元 测试 主要 解决 哪 5 个 方面 的 测试 问题 ? 

. 什么 是 桩 模块 ? 什么 是 驱动 模块 ? 单元 测试 中 一 定 要 开发 两 类 模块 吗 ? 为 什么 ? 
. 已 通过 单元 测试 的 程序 模块 在 集成 过 程 中 会 出 现 问题 吗 ? 为 什么 ? 
.有 哪些 集成 测试 策略 ?一般 适 用 于 何 种 场合 ? 

. 如何 进 行 回归 测试 ? 

.确认 测试 的 任务 是 什么 ”主要 包括 哪些 具体 测试 活动 ? 

. 系统 测试 主要 包括 哪些 类 型 ? 分 别 解释 它们 的 含义 。 

0. 压力 测试 和 负载 测试 是 什么 意思 ? 它们 之 间 有 什么 关系 ? 

1. Web 系统 的 测试 主要 包括 哪些 方面 ? 

2. 各 个 测试 阶段 主要 由 哪些 人 员 来 完成 测试 工作 ? 

3. 为 什么 要 进行 验收 测试 ?验收 测试 怎么 做 ? 
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面向 对 象 软件 的 测试 


自 20 世纪 80 年 代 后 期 以 来 ,面向 对 象 软件 开发 技术 发 展 迅速 ,获得 了 越 来 越 广泛 的 应 
用 ,在 面向 对 象 的 分 析 、 设 计 技 术 以 及 面向 对 象 的 程序 设计 语言 方面 , 均 获 得 了 很 丰富 的 研 
究 成 果 与 工程 实际 应 用 。 

面向 对 象 技术 产生 更 好 的 系统 结构 ,更 规范 的 编程 风格 , 极 大 优化 了 数据 使 用 的 安全 
性 ,提高 了 程序 代码 的 重用 ,一 些 人 就 此 认为 面向 对 象 技 术 开发 出 的 程序 无 须 进 行 测试 。 应 
该 看 到 ,尽管 面向 对 象 技 术 的 基本 思想 保证 了 软件 应 该 有 更 高 的 质量 ,但 实际 情况 却 并 非 如 
此 ,因为 无 论 采 用 什么 样 的 编程 技术 ,编程 人 员 的 错误 都 是 不 可 避免 的 ,而 且 由 于 面向 对 象 
技术 开发 的 软件 代码 重用 率 高 ,更 需要 严格 测试 ,避免 错误 的 繁衍 。 

本 章 要 点 : 

。 面向 对 象 的 基本 概念 。 

。 面向 对 象 的 特点 对 其 测试 策略 的 影响 。 

。 面向 对 象 测试 模型 。 

。 类 狭 测 试 。 

。 系统 测试 。 


.1 面向 对 象 的 基本 概念 


有 一 种 观点 认为 可 以 用 下 列 等 式 描述 面向 对 象 方法 : 

面向 对 象 (Object Oriented) = X12 (Object) 十 分 类 (Classification) 十 继承 (Inheritance) 十 消 
息 通信 (Massage Communication) 

可 以 说 , 若 采用 这 4 个 机 制 进行 软件 开发 , 则 该 开发 过 程 是 面向 对 象 的 。 下 面 介绍 面向 
对 象 方法 中 的 这 几 个 基本 概念 。 


1. 对 象 


对 象 (Object) 是 一 组 属性 以 及 这 组 属性 上 的 专用 操作 的 封装 体 。 属 性 通常 是 一 些 数 
据 , 有 时 也 可 以 是 另 一 个 对 象 。 在 面向 对 象 的 程序 设计 中 ,对 象 是 一 个 基本 的 可 计算 实体 ， 
对 象 被 创建 ,修改 .访问 或 由 于 协作 的 结果 而 被 删除 。 在 一 个 良好 的 面向 对 象 的 设计 理念 
中 ,程序 中 的 对 象 是 一 些 问 题 及 其 解决 方法 的 特定 实体 的 描述 。 

封装 是 一 种 信息 隐蔽 技术 ,用 户 只 能 看 见 对 象 封装 界面 上 的 信息 ,对 象 的 内 部 实现 对 用 
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户 是 隐蔽 的。 封装 的 目的 是 使 对 象 的 使 用 者 和 生产 者 分 离 , 使 对 象 的 定义 和 实现 分 开 。 

对 象 是 软件 开发 期 间 测试 的 直接 目标 。 在 程序 运行 时 ,对 象 的 行为 是 否 符合 它 的 说 明 
规定 ,该 对 象 与 和 它 相关 的 对 象 是 否 协同 工作 ,这 两 方面 是 面向 对 象 软件 测试 所 关注 的 
焦点 。 

对 象 可 以 用 它 的 生命 周期 来 描述 。 当 一 个 对 象 被 创建 时 它 的 生命 周期 就 开始 了 ,这 个 
过 程 贯穿 于 对 象 的 一 系列 状态 , 当 一 个 对 象 被 删除 时 它 的 生命 周期 也 就 结束 了 。 


2. 类 


类 (Class) 是 一 组 具有 相同 属性 和 相同 操作 的 对 象 的 集合 。 在 面向 对 象 的 程序 中 ,任何 
被 描述 的 概念 最 初 都 必须 被 声明 为 类 ,然后 创建 由 该 类 定义 的 对 象 。 创 建 对 象 的 过 程 被 称 
做 实例 化 ,而 创建 的 结果 被 称 为 实例 。 一 个 类 中 的 每 个 对 象 都 是 这 个 类 的 一 个 实例 ,它们 都 
可 使 用 类 中 提供 的 函数 。 一 个 对 象 的 状态 则 包含 在 它 的 实例 变量 中 图 4-1 是 一 个 类 及 
实例 。 


轿车 张 伟 的 轿车 
型 号 : 字符 串 型 号 : 宝马 
颜色 : 字符 串 颜色 : 红色 
牌照 号 : 字符 串 牌照 号 : Hi B99989 
类 实例 
4-1 类 及 实例 


3. 继承 


继承 是 类 之 间 的 一 种 基本 关系 ,是 基于 层次 关系 的 不 同类 共享 数据 和 操作 的 一 种 机 制 。 
它 允 许 新 类 可 以 在 一 个 已 有 类 的 基础 上 进行 定义 。 一 个 类 对 另 一 个 类 的 依赖 ,使 得 已 有 类 
的 说 明和 实现 可 以 被 复 用 。 这 种 方法 有 一 个 重要 的 优势 , 那 就 是 已 有 类 不 会 被 改变 ,并 且 对 
其 他 任何 继承 它 的 新 类 来 说 都 是 一 样 的 。 这 里 所 说 的 新 类 主要 是 指 子 类 或 派生 类 ,被 新 类 
继承 的 已 有 类 就 叫 基 类 。 一 个 基 类 以 及 从 这 个 基 类 直接 或 间接 继承 而 得 到 的 派生 类 ,它们 
共同 构成 继承 层次 关系 。 同 时 子 类 除了 定义 自己 特有 的 属性 和 操作 外 ,还 可 以 对 基 类 中 的 
操作 重新 定义 其 实现 方法 , 称 为 重 载 (Override) 。 

例如 * 船 ?类 是 “帆船 ?类 的 基 类 ,帆船 ?类 是 * 船 ?类 的 子 类 。 同 样 “ 船 ?类 还 可 以 是 “ 交 
通 工 具 ” 类 的 子 类 ,“ 交 通 工具 ”类 是 “ 船 ”类 的 基 类 。 这 样 可 以 形成 类 的 继承 关系 ,如 图 4-2 
Bim. 


4. 消息 


消息 (Message) 是 对 象 间 通信 的 手段 ,一 个 对 象 通过 向 另 一 个 对 象 发 送 消 息 来 请 求 其 
服务 。 一 个 消息 除了 需要 接受 对 象 名 ,还 可 以 包含 一 些 值 ( 实 参 ) ,它们 常常 在 操作 被 执行 时 
使 用 。 


第 4 章 面向 对 象 软件 的 测试 


飞机 m] 汽车 


| 


u 
| ne || me || we 


4-2 基 类 和 子 类 的 关系 


面向 对 象 的 程序 是 通过 一 系列 对 象 协同 工作 来 解决 问题 的 ,这 一 协作 是 通过 对 象 之 间 
互相 传送 消息 来 完成 的 。 我 们 把 发 送 消息 的 对 象 称 为 发 送 者 ,把 接收 消息 的 对 象 称 为 接收 
者 。 消 息 的 接收 者 也 可 以 将 某 个 值 返回 给 消息 的 发 送 者 。 

面向 对 象 程序 执行 的 典型 过 程 首先 是 实例 化 对 象 ,然后 将 一 条 消息 传送 给 其 中 的 某 个 
对 象 ,消息 的 接收 者 把 它 自己 产生 的 消息 发 送 给 其 他 对 象 (甚至 是 发 送 给 自己 ) 来 执行 计算 。 
比如 在 一 些 由 事件 驱动 的 环境 下 ,环境 会 不 断 地 发 送 消息 并 且 等 待 诸如 鼠标 单 击 和 按键 等 
外 部 事件 的 响应 。 


5. 接口 


接口 是 行为 声明 的 集合 。 接 口 是 由 一 些 规范 构成 的 ,这 一 规范 定义 了 类 的 一 套 完整 的 
公共 行为 。 在 C++ 中 ,通过 定义 一 个 抽象 的 基 类 、 其 内 部 仅 包 含 公有 的 虚拟 方法 ,可 以 达到 
定义 接口 的 目的 。 

接口 封装 了 操作 的 说 明 。 这 些 说 明 逐 步 形 成 了 诸如 类 这 种 形式 的 更 大 分 组 的 规范 。 如 
果 这 一 接口 包含 的 行为 和 类 的 行为 不 相符 ,那么 对 这 一 接口 的 说 明 就 不 是 令 人 满意 的 。 

接口 不 是 孤立 的 , 它 与 其 他 的 接口 和 类 有 一 定 的 关系 。 一 个 接口 可 以 指定 一 个 行为 的 
参数 类 型 ,使 得 实现 该 接口 的 类 可 被 当 作 一 个 参数 行 传递 。 


6. 多 态 


多 态 性 (PolymorPhism) 是 指 同 一 个 操作 作用 于 不 同 的 对 象 上 可 以 有 不 同 的 解释 ,并 且 
产生 不 同 的 执行 结果 。 多 态 有 几 种 不 同 的 形式 ,如 参数 多 态 .包含 多 态 . 过 载 多 态 。 人 参数 多 
态 是 能 够 根据 一 个 或 多 个 参数 来 定义 一 种 类 型 的 能 力 ,包含 多 态 和 过 载 多 态 在 面向 对 象 语 
言 中 通常 体现 在 子 类 与 父 类 的 继承 关系 上 。 

例如 ,图 4-3 表示 三 角形 类 ,矩形 类 六 边 形 类 都 继承 了 多 边 形 类 ,其 中 多 边 形 类 是 一 个 
抽象 类 , 它 定 义 了 抽象 操作 * 计 算 面积 ”的 接口 ,在 三 角形 类 、 和 矩形 类 中 都 继承 操作 “计算 面 
积 ”, 即 它们 与 父 类 中 的 “计算 面积 ”有 相同 的 接口 定义 ,并 分 别 给 出 了 它们 各 自 计算 面积 的 
实现 方法 。 

与 多 态 性 密切 相关 的 一 个 概念 就 是 动态 绑 定 (Dynamiobinding) 。 动 态 绑 定 是 指 在 程序 
运行 时 才 将 消息 所 请 求 的 操作 与 实现 该 操作 的 方法 进行 连接 。 传 统 的 程序 设计 语言 的 过 程 
调用 与 目标 代码 的 连接 放 在 程序 运行 前 进行 , 称 为 静态 绑 定 , 而 动态 绑 定 则 是 把 这 种 连接 推 
人 迟到 运行 是 才 进 行 。 在 一 般 与 特殊 关系 中 , 子 类 是 父 类 中 的 一 个 特例 ,所 以 父 类 对 象 可 以 出 
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对 角 线 


计算 面积 计算 面积 
计算 对 角 线 - 


图 4-3 多 态 性 实例 


现 的 地 方 ,也 允许 其 子 类 对 象 出 现 。 因 此 在 运行 过 程 中 , 当 一 个 对 象 发 送 消息 请 求 服务 时 ， 
要 根据 接受 对 象 的 具体 情况 将 请 求 的 操作 与 实现 的 方法 进行 连接 。 


@.2 面向 对 象 软件 的 特点 对 其 测试 策略 的 影响 


对 面向 对 象 的 软件 而 言 ,虽然 其 测试 的 目标 仍 是 用 最 少 的 时 间 和 工作 量 来 发 现 尽 可 能 
多 的 错误 ,但 面向 对 象 软件 的 性 质 改变 了 测试 的 策略 和 测试 技术 。 面 向 对 象 测试 也 给 软件 
工程 师 带 来 新 的 挑战 。 

继承 \ 封 装 、 多 态 性 、 基 于 消息 的 通信 等 概念 都 是 面向 对 象 软件 的 重要 特征 ,对 面向 对 象 
测试 有 很 大 的 影响 。 


1. &x 


传统 软件 对 “单元 "有 多 种 定义 ,其 中 适用 于 面向 对 象 测试 的 两 种 定义 如 下 : 

(1) 单元 是 可 以 编译 和 执行 的 最 小 软件 部 件 。 

(2) 单元 是 绝 不 会 指派 给 多 个 设计 人 员 开 发 的 软件 部 件 。 

在 传统 的 软件 中 ,通常 单个 模块 或 子 程序 (相当 于 面向 对 象 中 的 一 个 方法 ) 作 为 一 个 单 
元 。 在 面向 对 象 软件 中 ,类 是 由 属性 (数据 ) 以 及 操作 这 些 属性 的 操作 组 成 的 封装 体 , 是 面向 
对 象 软件 中 的 单元 ,所 以 其 相应 的 软件 软件 测试 方法 可 以 分 为 以 下 两 类 。 

CD 基于 需求 的 测试 : 与 已 知 的 黑 盒 测试 一 样 , 基 于 需求 的 测试 旨 在 测试 程序 是 否 满 
足 相应 的 需求 。 它 一 般 是 通过 提出 一 组 可 能 的 输入 , 即 测试 数据 来 测试 程序 ,判断 输出 与 需 
求 的 一 致 性 ,从 而 实现 测试 。 

(2) 基于 程序 的 测试 : 正如 白 盒 测试 一 样 , 基 于 程序 的 测试 是 基于 需求 的 测试 的 一 种 
有 益 的 补充 ,主要 用 于 检测 代码 的 内 部 结构 。 通 过 相应 的 覆盖 准则 ,选取 测试 数据 来 实现 
测试 。 
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2. 封装 


在 面向 对 象 方法 中 引入 封装 是 有 益 的 , 它 实 现 了 信息 隐藏 ,编程 人 员 不 必 再 关心 类 的 内 
部 实现 。 封 装 通过 分 离 类 的 接口 与 实现 ,增强 了 类 的 抽象 性 。 这 对 测试 也 是 有 益 的 ,测试 单 
元 可 以 很 明确 地 被 设计 ,从 而 大 大 简化 了 测试 。 

但 是 同时 正 因 为 封装 是 一 种 信息 隐蔽 技术 , 它 也 妨碍 了 测试 。 用 户 只 能 看 见 对 象 封装 
界面 上 的 信息 ,对象 的 内 部 实现 对 用 户 是 隐蔽 的 。 由 于 属性 和 操作 被 封装 在 类 中 ,因此 测试 
时 很 难 获得 对 象 的 某 些 具体 信息 ,从 而 给 测试 带 来 困难 。 

解决 方案 可 以 通过 下 面 方法 : 

(1) 修改 测试 类 ,通过 增加 操作 向 测试 者 提供 对 象 的 属性 ,但 是 这 种 方法 是 强制 的 , 同 
时 也 不 能 保证 引入 的 操作 与 类 中 原 有 的 操作 是 否 重 名 。 

(2) 在 一 个 继承 类 中 定义 新 操作 ,该 类 继承 于 测试 类 ,并 且 只 是 用 于 协助 测试 ,这 个 操 
作 将 获取 测试 类 的 属性 ,然而 如 果 类 的 某 些 属性 不 能 为 子 类 所 访问 也 是 无 用 的 ,例如 C++ 请 
言 的 私有 属性 。 

(3) 某 些 语言 通过 引入 一 些 机 制 来 打破 封装 ,例如 C++ 语言 的 friends members, 


3. 继承 


继承 性 是 面向 对 象 的 基本 特点 之 一 ,是 一 种 有 效 的 程序 复 用 方法 。 继 承 使 父 类 的 属性 
和 操作 可 以 被 通过 实例 化 产生 的 子 类 和 对 象 所 继承 。 子 类 不 但 继承 父 类 的 特征 ,还 能 对 其 
进行 重 定义 。 因 此 ,继承 的 方法 和 重 定义 的 方法 在 子 类 的 环境 中 都 要 重新 测试 。 一 般 情况 
下 分 为 单 继 承 、 多 重 继 承 和 重复 继承 。 单 继承 是 简单 但 使 用 最 多 的 方式 ,一 个 子 类 只 有 一 个 
父 类 ; 多 重 继 承 是 一 个 子 类 有 多 个 父 类 ; 重复 继承 是 指 一 个 子 类 通过 多 条 路 径 继承 了 同一 
父 类 。 多 重 继承 和 重复 继承 会 出 现在 多 个 父 类 中 重 名 的 变量 和 函数 的 情况 ,容易 引起 混乱 ， 
同时 使 子 类 的 复杂 性 显著 提高 ,出 现 隐 含 错误 的 可 能 性 大 大 增加 ,因此 在 实际 中 不 提倡 这 种 
用 法 。 在 面向 对 象 软件 中 , 子 类 可 以 继承 父 类 的 属性 和 操作 ,也 可 以 对 继承 的 操作 进行 重 定 
义 。 这 并 不 表示 测试 了 父 类 的 操作 后 , 子 类 就 不 必 对 继承 的 操作 进行 测试 。 


4. 多 态 性 


多 态 通 常 是 与 继承 相 联系 的 ,这 多 个 类 必须 属于 一 个 类 层次 ,由 根 类 和 它 的 子 类 组 成 。 
如 果 系 统 中 所 有 的 类 均 继 承 于 唯一 的 一 个 根 类 ,那么 这 个 类 层 可 以 是 系统 中 的 所 有 类 的 
构成 。 

多 态 性 的 性 质 给 测试 带 来 障碍 : 

(1) 未 决 的 动态 绑 定 。 多 态 性 将 给 基于 程序 的 测试 带 来 未 决定 性 。 由 于 多 态 名 字 可 以 
表示 不 同类 的 对 象 , 故 当 调用 一 个 多 态 名 字 的 操作 时 ,只 有 到 程序 运行 时 , 才 可 能 知道 哪 段 
代码 要 被 执行 。 与 继承 测试 一 样 ,也 需要 为 类 的 操作 定义 “层次 说 明 ”, 用 来 详细 说 明 操 作 所 
希望 的 最 小 行为 及 其 所 有 可 能 的 重 定义 。 

(2) 多 态 参 数 。 当 操作 的 一 个 或 多 个 参数 为 多 态 时 ,相似 的 问题 依然 存在 。 故 在 测试 
一 个 操作 时 , 当 执 行 其 实际 参数 的 各 种 组 合 时 ,测试 必须 确定 能 够 覆盖 绑 定 的 所 有 可 能 的 
情况 。 
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5. 基于 消息 的 通信 


面向 对 象 软件 是 通过 消息 通信 来 实现 类 之 间 的 协作 的 ,它们 没有 明显 的 层次 控制 结构 ， 
因此 ,传统 的 自 顶 向 下 和 自 底 向 上 集成 策略 不 适用 于 面向 对 象 软件 测试 。 

正 是 由 于 这 些 特征 的 存在 ,传统 的 测试 方法 无 法 直接 应 用 于 面向 对 象 测试 方法 中 ,需要 
做 相应 的 修改 。 


4.3 面向 对 象 软件 测试 的 特殊 性 


从 程序 的 组 织 结构 方面 来 讲 , 传 统 测试 技术 不 完全 适用 于 面向 对 象 软件 的 测试 。 传 统 
程序 的 测试 过 程 是 , 选 定 一 组 数据 , 交 给 待 测 程序 处 理 , 通 过 比较 实际 执行 结果 和 预期 执行 
结果 ,判断 程序 是 否 含有 错误 。 因 此 ,传统 软件 测试 技术 与 过 程式 程序 中 数据 和 操作 相 分 离 
的 特点 相 适 应 。 而 面向 对 象 软件 不 是 把 程序 看 成 工作 在 数据 上 的 一 系列 过 程 或 函数 的 集 
合 ,而 是 把 程序 看 作 相互 协作 而 又 彼此 独立 的 对 象 的 集合 ,在 面向 对 象 程序 中 ,对 象 是 一 组 
属性 以 及 这 组 属性 上 的 专用 操作 的 封装 体 , 每 个 对 象 就 像 一 个 传统 意义 上 的 小 程序 ,有 自己 
的 数据 ,操作 、 功 能 和 目的 。 

传统 的 软件 系统 是 由 一 个 个 功能 模块 通过 过 程 调用 关系 组 合 而 成 的 。 而 在 面向 对 象 的 
系统 中 ,系统 的 功能 体现 在 对 象 间 的 协作 上 ,相同 的 功能 可 能 驻 留 在 不 同 的 对 象 中 ,操作 序 
列 是 由 对 象 间 的 消息 传递 决定 的 。 传 统 意义 上 的 功能 实现 不 再 是 靠 子 功能 的 调用 序列 完成 
的 ,而 是 在 对 象 之 间 合作 的 基础 上 完成 的 。 不 同 对 象 有 自己 的 不 同 状态 ,而 且 , 同 一 对 象 在 
不 同 的 状态 下 对 消息 的 响应 可 能 完全 不 同 。 

为 实现 某 一 特定 的 功能 ,有 可 能 要 激活 调用 属于 不 同 对 象 类 的 多 个 方法 (C++ 中 的 成 员 
函数 ) ,形成 方法 的 启用 链 。 显 然 , 基 于 功能 分 解 的 自 顶 向 下 或 自 底 向 上 的 集成 测试 策略 并 
不 适用 于 以 面向 对 象 方法 构造 的 软件 。 

编程 语言 的 改变 对 测试 有 影响 ,开发 过 程 的 变化 以 及 分 析 和 设计 重点 的 改变 也 会 对 测 
试 产 生 影响 。 许 多 面向 对 象 的 软件 的 测试 活动 都 可 以 在 传统 的 过 程 中 找到 对 应 的 活动 。 我 
们 仍旧 使 用 单元 测试 ,尽管 在 这 里 “单元 ”的 意义 已 发 生 了 改变 ; 我 们 仍 将 做 集成 测试 以 确 
保 各 个 子 系 统 能 够 一 致 正常 地 工作 ; 我 们 仍 将 做 回归 测试 以 确保 对 软件 最 后 一 轮 的 修改 不 
会 对 软件 以 前 的 功能 造成 负面 影响 。 

从 上 面 的 讨论 我 们 可 以 看 出 : 面向 对 象 软件 语言 特有 的 一 些 概念 和 机 制 ,如 数据 抽象 、 
继承 多 态 ,动态 绑 定 和 消息 传递 都 对 测试 有 着 深刻 的 影响 。 其 中 有 的 因素 使 测试 复杂 化 ， 
导致 测试 工作 量 加 大 ,有 的 因素 有 助 于 测试 过 程 中 重用 已 有 的 测试 资源 ,从 而 有 利于 减少 测 
试 的 工作 量 , 有 的 因素 两 方面 兼 而 有 之 。 但 总 的 来 讲 , 在 这 些 因素 的 共同 作用 下 ,测试 面向 
对 象 比 测试 传统 软件 更 加 困难 。 

面向 对 象 测试 的 整体 目标 和 传统 测试 相 一 致 ,以 最 小 的 工作 量 发 现 最 多 的 错误 。 但 是 
由 于 面向 对 象 的 封装 .继承 和 动态 绑 定 使 得 面向 对 象 的 软件 测试 复杂 化 ,所 以 需要 进行 相关 
方面 的 研究 。 我 们 必须 结合 面向 对 象 技术 的 特点 ,研究 新 的 面向 对 象 软件 的 测试 理论 ,方法 
来 与 之 适应 。 这 一 点 已 成 为 研究 人 员 和 软件 开发 人 员 的 共识 。 
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@.4 面向 对 象 软件 的 测试 模型 


虽然 面向 对 象 的 程序 有 其 独 有 的 新 特性 ,但 就 测试 而 言 , 用 面向 对 象 方法 开发 的 系统 测 
试 与 其 他 方法 开发 的 系统 测试 没有 什么 不 同 , 在 所 有 开发 系统 中 都 是 根据 规范 说 明 来 验证 
系统 设计 的 正确 性 。 面 向 对 象 的 测试 策略 也 是 从 “小 型 测试 "直至 “大 型 测试 ”, 即 从 单元 测 
试 开 始 ,逐步 展开 ,最 后 对 有 效 性 和 系统 测试 。 只 是 在 测试 中 要 考虑 面向 对 象 因素 。 

面向 对 象 程序 的 结构 不 再 是 传统 的 功能 模块 结构 ,作为 一 个 整体 , 原 有 集成 测试 所 要 求 
的 逐步 将 开发 的 模块 搭建 在 一 起 进行 测试 的 方法 已 经 不 适用 。 而 且 , 面 向 对 象 软件 抛弃 了 
传统 的 开发 模式 ,对 每 个 开发 阶段 都 有 不 同 于 以 往 的 要 求 和 结果 ,已 经 不 可 能 用 功能 细 化 的 
观点 来 检测 面向 对 象 分 析 和 设计 的 结果 。 因 此 ,传统 的 测试 模型 对 面向 对 象 软件 已 经 不 再 
适用 。 针 对 面向 对 象 软件 的 开发 特点 ,应 该 有 一 种 新 的 测试 模型 。 

现在 比较 普遍 的 观点 认为 : 面向 对 象 技术 主要 包括 6 个 核心 概念 : 对 象 、 消 息 、 接 口 、 
类 继承 ,多 态 。 面 向 对 象 的 开发 模型 实质 是 将 软件 测试 过 程 分 成 3 个 阶段 , 即 面向 对 象 分 
析 (Object Oriented Analysis,OOA)、 面 向 对 象 设计 (Object Oriented Design,OOD) 和 面向 
对 象 编程 (Object Oriented Programming, OOP), 

面向 对 象 测试 的 类 型 分 为 : 

。 面向 对 象 分 析 的 测试 (OOATest) 。 

。 面向 对 象 设计 的 测试 (OODTest) 。 

。 面向 对 象 编程 的 测试 (OOPTest) 。 

* 面向 对 象 单元 测试 (OOUnltTest) 。 

。 面向 对 象 集成 测试 (OOIntegrationTest) 。 

* 面向 对 象 系统 测试 (OOSystemTest) 。 

面向 对 象 测试 类 型 的 另 一 种 划分 : 模型 测试 .类 测试 (用 于 代替 单元 测试 ) 交互 测试 
(用 于 代替 集成 测试 ) 、 系 统 (包括 子 系统 ) 测 试 .接收 测试 .部署 测试 。 

传统 测试 模式 与 面向 对 象 的 测试 模式 的 最 主要 的 区 别 在 于 ,面向 对 象 的 测试 更 关注 对 
象 而 不 是 完成 输入 输出 的 单一 功能 ,这 样 的 话 ,测试 可 以 在 分 析 与 设计 阶段 就 先行 介入 ,使 
得 测试 更 好 地 配合 软件 生产 过 程 并 为 之 服务 。 与 传统 测试 模式 相 比 ,面向 对 象 测 试 的 优点 
在 于 : 更 早 地 定义 出 测试 用 例 ; 早期 介入 可 以 降低 成 本 ; 尽早 地 编写 系统 测试 用 例 以 便于 
开发 人 员 与 测试 人 员 对 系统 需求 的 理解 保持 一 致 ; 面向 对 象 的 测试 模式 更 注重 于 软件 的 

面向 对 象 的 开发 模型 突破 了 传统 的 瀑布 模型 ,将 开发 分 为 面向 对 象 分 析 (OOA) ,面向 
对 象 设计 (OOD) ,和 面向 对 象 编程 (OOP) 三 个 阶段 。 分 析 阶 段 产 生 整 个 问题 空间 的 抽象 描 
述 ,在 此 基础 上 ,进一步 归纳 出 适用 于 面向 对 象 编程 语言 的 类 和 类 结构 ,最 后 形成 代码 。 由 
于 面向 对 象 的 特点 ,采用 这 种 开发 模型 能 有 效 地 将 分 析 设 计 的 文本 或 图 表 代码 化 ,不 断 适 应 
用 户 需求 的 变动 。 针 对 这 种 开发 模型 ,结合 传统 的 测试 步骤 ,一 些 学 者 提出 了 一 种 整个 软件 
开发 过 程 中 不 断 测试 的 测试 模型 ,使 开发 阶段 的 测试 与 编码 完成 后 的 单元 测试 、 集 成 测试 、 
系统 测试 成 为 一 个 整体 。 测 试 模型 如 图 4-4 所 示 。 

面向 对 象 分 析 的 测试 和 面向 对 象 设计 的 测试 是 对 分 析 结 果 和 设计 结果 的 测试 ,主要 是 
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面向 对 象 的 系统 测试 
面向 对 象 的 集成 测试 
面向 对 象 的 单元 测试 
面向 对 象 分 析 测试 面向 对 象 设计 测试 面向 对 象 的 编程 测试 
面向 对 象 分 析 OOA 面向 对 象 设计 OOD 面向 对 象 编程 O0P 


4-4 面向 对 象 的 测试 模型 


对 分 析 设计 产生 的 文本 进行 ,是 软件 开发 前 期 的 关键 性 测试 。 面 向 对 象 编程 的 测试 主要 针 
对 编程 风格 和 程序 代码 实现 进行 测试 ,其 主要 的 测试 内 容 在 面向 对 象 单元 测试 和 面向 对 象 
集成 测试 中 体现 。 面 向 对 象 单元 测试 是 对 程序 内 部 具体 单一 的 功能 模块 的 测试 ,如 果 程 序 
是 用 C++ 语言 实现 ,主要 就 是 对 类 成 员 函 数 的 测试 。 面 向 对 象 单元 测试 是 进行 面向 对 象 集 
成 测试 的 基础 。 面 向 对 象 集成 测试 主要 对 系统 内 部 的 相互 服务 进行 测试 ,如 成 员 函 数 间 的 
相互 作用 ,类 间 的 消息 传递 等 。 面 向 对 象 集成 测试 不 但 要 基于 面向 对 象 单元 测试 ,更 要 参见 
面向 对 象 设计 和 面向 对 象 设计 的 测试 结果 。 面 向 对 象 系统 测试 是 基于 面向 对 象 集成 测试 的 
最 后 阶段 的 测试 ,主要 以 用 户 需 求 为 测试 标准 ,需要 借鉴 面向 对 象 分 析 和 面向 对 象 分 析 的 测 
试 结果 。 

尽管 上 述 各 阶段 的 测试 构成 一 个 相互 作用 的 整体 ,但 其 测试 的 主体 、 方 向 和 方法 各 有 不 
同 , 下 面 我 们 将 从 面向 对 象 分 析 的 测试 ,面向 对 象 设计 的 测试 ,面向 对 象 编程 的 测试 ,单元 测 
试 ,集成 测试 ,系统 测试 6 个 方面 分 别 介绍 对 面向 对 象 软件 的 测试 。 


1. 面向 对 象 分 析 的 测试 


面向 对 象 分 析 直 接 映射 问 题 空间 ,全 面 地 将 问题 空间 中 实现 功能 的 现实 抽象 化 。 将 问 
题 空间 中 的 实例 抽象 为 对 象 (不 同 于 C++ 中 的 对 象 概念 ), 用 对 象 的 结构 反映 问题 空间 的 复 
杂 实 例 和 复杂 关系 ,用 属性 和 服务 表示 实例 的 特性 和 行为 。 对 一 个 系统 而 言 ,与 传统 分 析 方 
法 产生 的 结果 相反 ,行为 是 相对 稳定 的 ,结构 是 相对 不 稳定 的 ,这 更 充分 反映 了 现实 的 特性 。 
面向 对 象 分 析 的 结果 是 为 后 面 阶段 类 的 选 定 和 实现 ,类 层次 结构 的 组 织 和 实现 提供 平台 。 
因此 ,面向 对 象 分 析 对 问题 空间 分 析 抽 象 的 不 完整 ,最 终 会 影响 软件 的 功能 实现 ,导致 软件 
开发 后 期 大 量 可 避免 的 修补 工作 ,而 一 些 元 余 的 对 象 或 结构 会 影响 类 的 选 定 ,程序 的 整体 结 
构 或 增加 程序 员 不 必要 的 工作 量 。 尽 管 面向 对 象 分 析 的 测试 是 一 个 不 可 分 割 的 系统 过 程 ， 
为 实现 得 方便 我 们 将 面向 对 象 分 析 阶 段 的 测试 划分 为 5 个 方面 : 对 认定 的 对 象 的 测试 ,对 
认定 的 结构 的 测试 ,对 认定 的 主题 的 测试 ,对 定义 的 属性 和 实例 关联 的 测试 ,对 定义 的 服务 
和 消息 关联 的 测试 。 


2. 面向 对 象 设计 的 测试 


面向 对 象 设计 采用 造型 的 观点 ,以 面向 对 象 分 析 为 基础 归纳 出 类 ,并 建立 类 结构 或 进 一 
步 构造 成 类 库 ,实现 分 析 结果 对 问题 空间 的 抽象 。 面 向 对 象 设计 归纳 的 类 ,可 以 是 对 象 简单 
的 延续 ,可 以 是 不 同 对 象 的 相同 或 相似 的 服务 。 由 此 可 见 ,面向 对 象 设计 不 是 在 面向 对 象 分 
析 上 的 另 一 思维 方式 的 大 动 干戈 ,而 是 面向 对 象 分 析 的 进一步 细 化 和 更 高 层 的 抽象 。 所 以 ， 
面向 对 象 设计 与 面向 对 象 分 析 的 界限 通常 是 难以 严格 区 分 的 。 面 向 对 象 设计 确定 类 和 类 结 
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构 不 仅 是 满足 当前 需求 分 析 的 要 求 ,更 重要 的 是 通过 重新 组 合 或 加 以 适当 的 补充 ,能 方便 实 
现 功 能 的 重用 和 扩 增 ,以 不 断 适 应 用 户 的 要 求 。 因 此 ,对 面向 对 象 设计 的 测试 ,本 文 建议 针 
对 功能 的 实现 和 重用 以 及 对 面向 对 象 分 析 结 果 的 拓展 ,从 如 下 三 方面 考虑 : 对 认定 的 类 的 
测试 ,对 构造 的 类 层次 结构 的 测试 ,对 类 库 的 支持 的 测试 。 


3. 面向 对 象 编程 的 测试 


典型 的 面向 对 象 程序 具有 继承 、 封 装 和 多 态 的 新 特性 ,这 使 得 传统 的 测试 策略 必须 有 所 
改变 。 封 装 是 对 数据 的 隐藏 ,外 界 只 能 通过 被 提供 的 操作 来 访问 或 修改 数据 ,这 样 降低 了 数 
据 被 任意 修改 和 读 写 的 可 能 性 ,降低 了 传统 程序 中 对 数据 非法 操作 的 测试 。 继 承 是 面向 对 
象 程序 的 重要 特点 ,继承 使 得 代码 的 重用 率 提高 ,同时 也 使 错误 传播 的 概率 提高 。 继 承 使 得 
传统 测试 遇见 了 这 样 一 个 难题 : 对 继承 的 代码 究竟 应 该 怎样 测试 ?多 态 使 得 面向 对 象 程序 
对 外 呈现 出 强大 的 处 理 能 力 , 但 同时 却 使 得 程序 内 同一 函数 的 行为 复杂 化 ,测试 时 不 得 不 考 
虑 不 同类 型 具体 执行 的 代码 和 产生 的 行为 。 

面向 对 象 程序 是 把 功能 的 实现 分 布 在 类 中 。 能 正确 实现 功能 的 类 ,通过 消息 传递 来 协 
同 实现 设计 要 求 的 功能 。 正 是 这 种 面向 对 象 程序 风格 ,将 出 现 的 错误 能 精确 地 确定 在 某 一 
具体 的 类 。 因 此 ,在 面向 对 象 编程 阶段 ,忽略 类 功能 实现 的 细则 ,将 测试 的 目光 集中 在 类 功 
能 的 实现 和 相应 的 面向 对 象 程序 风格 上 ,主要 体现 为 以 下 两 个 方面 : 数据 成 员 是 否 满足 数 
据 封装 的 要 求 , 类 是 否 实现 了 要 求 的 功能 。 


45 面向 对 象 软件 的 测试 策略 


面向 对 象 程序 的 结构 不 再 是 传统 的 功能 模块 结构 ,作为 一 个 整体 , 原 有 集成 测试 所 要 求 
的 逐步 将 开发 的 模块 组 装 在 一 起 进行 测试 的 方法 已 经 不 再 适用 。 而 且 , 面 向 对 象 软件 抛弃 
了 传统 的 开发 模式 ,对 每 个 开发 阶段 都 有 不 同 以 往 的 要 求 和 结果 ,已 经 不 可 能 用 功能 细 化 的 
观点 来 检测 面向 对 象 分 析 和 设计 的 结果 。 因 此 ,传统 的 测试 模型 对 面向 对 象 软件 已 经 不 再 
适用 。 针 对 面向 对 象 软件 的 开发 特点 ,应 该 有 一 种 新 的 测试 模型 。 通 常 与 传统 的 面向 过 程 
的 测试 相对 应 ,面向 对 象 软件 测试 的 层次 划分 如 图 4-5 所 示 。 


传统 测试 面向 对 象 测试 
E 方法 测试 
单元 测试 类 测试 让 一 对 象 测试 
集成 测试 类 艇 测试 
系统 测试 系统 测试 


图 4-5 面向 对 象 软件 的 测试 层次 


1. 面向 对 象 的 单元 测试 


面向 对 象 程序 的 基本 单位 是 类 。 类 测试 是 由 那些 与 验证 类 的 实现 是 否 和 该 类 的 说 明 完 
全 一 致 的 相关 联 的 活动 组 成 。 如 果 类 的 实现 正确 ,那么 类 的 每 个 实例 的 行为 也 应 该 是 正 
确 的 。 
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类 测试 与 传统 测试 过 程 中 的 单元 测试 大 体 相似 ,而 且 它 们 还 有 许多 相同 的 问题 必须 说 
明 。 类 测试 还 必须 说 明 综 合 测试 的 许多 方面 ,因为 每 个 对 象 都 定义 了 一 个 范围 级 别 , 在 此 范 
围 内 ,许多 方法 都 可 以 围绕 一 系列 的 实例 属性 交互 。 

我 们 能 够 通过 代码 检查 或 执行 测试 用 例 来 有 效 地 测试 一 个 类 的 代码 。 在 某 些 情况 下 用 
代码 检查 代替 基于 执行 的 测试 方法 是 可 行 的 。 但 是 ,和 基于 执行 的 测试 方法 相 比 ,代码 检查 
有 两 个 不 利之 处 : 

(1) 代码 检查 易 受 人 为 错误 的 影响 。 

(2) 代码 检查 在 回归 测试 方面 明显 需要 更 多 的 工作 量 , 常 常 需要 几乎 和 原始 测试 一 样 
多 的 资源 。 

尽管 基于 执行 的 测试 方法 克服 了 这 些 缺 点 ,但 确定 测试 用 例 和 开发 测试 驱动 程序 也 需 
要 很 大 的 工作 量 。 在 某 些 情 况 下 ,为 某 个 类 构造 一 个 测试 驱动 程序 所 需要 的 工作 量 可 能 比 
开发 这 个 类 所 需要 的 工作 量 多 好 几 个 数量 级 。 在 这 种 情况 下 ,我 们 也 应 该 评估 在 使 用 了 这 
个 类 的 系统 之 外 测试 这 个 类 所 花 的 代价 和 带 来 的 收益 。 但 这 种 情况 并 不 是 面向 对 象 编程 所 
独 有 的 。 有 许多 子 程序 是 在 结构 图 的 上 级 被 调用 的 ,在 涉及 这 些 子 程序 的 传统 开发 过 程 中 ， 
也 出 现 了 相同 的 情形 。 

对 于 每 个 类 ,我 们 要 决定 是 将 其 作为 一 个 单元 进行 独立 测试 ,还 是 以 某 种 方式 将 其 作为 
某 个 较 大 部 分 的 一 个 组 件 进行 独立 测试 ,将 基于 以 下 因素 进行 决策 : 

(1) 这 个 类 在 系统 中 的 作用 ,尤其 是 与 之 相关 联 的 风险 程度 。 

(2) 这 个 类 的 复杂 性 (根据 状态 个 数 、 操 作 个 数 以 及 该 类 与 其 他 类 有 多 少 关联 进行 
衡量 )。 

(3) 开发 这 个 类 测试 驱动 程序 所 需 的 工作 量 。 

假如 一 个 类 是 某 个 类 库 不 可 缺少 的 部 分 ,即使 测试 驱动 程序 的 开发 成 本 可 能 很 高 ,对 它 
进行 充分 的 类 测试 也 是 值得 的 ,因为 它 的 正确 操作 是 最 重要 的 。 

在 类 测试 过 程 中 ,不 能 仅仅 检查 输入 数据 产生 的 结果 是 否 与 预期 的 吻合 ,还 要 考虑 对 象 
的 状态 ,整个 过 程 应 涉及 对 象 的 初 态 .输入 参数 ,输出 参数 以 及 对 象 的 终 态 , 类 测试 与 传统 单 
元 测试 的 区 别 如 图 4-6 所 示 。 


输入 数据 一 =| am “一 输出 数据 
传统 的 单元 测试 模型 
idi — — 输出 数据 
始 状态 : ~ 结束 状态 
VEN 类 测试 模型 


图 4-6 类 测试 与 传统 单元 测试 的 区 别 


2. 面向 对 象 的 集成 测试 


面向 对 象 的 类 簇 测 试 把 一 组 相互 有 影响 的 类 看 作 一 个 整体 称 为 类 和 能。 类 艇 测试 主要 根 
据 系统 中 相关 类 的 层次 关系 ,检查 类 之 间 的 相互 作用 的 正确 性 , 即 检查 各 相关 类 之 间 消 息 连 
接 的 合法 性 、 子 类 的 继承 性 与 父 类 的 一 致 性 动态 绑 定 执行 的 正确 性 .类 艇 协同 完成 系统 功 
能 的 正确 性 等 。 其 测试 有 两 种 不 同 策略 : 
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(1) 基于 类 间 协 作 关 系 的 横向 测试 : 由 系统 的 一 个 输入 事件 作为 激励 ,对 其 触发 的 一 
组 类 进行 测试 ,执行 相应 的 操作 /消息 处 理 路 径 , 最 后 终止 于 某 一 输出 事件 。 应 用 回归 测试 
对 己 测试 过 的 类 集 再 重新 执行 一 次 ,以 保证 加 入 新 类 时 不 会 产生 意外 的 结果 。 

(2) 基于 类 间 继承 关系 的 纵向 测试 : 首先 通过 测试 独立 类 (是 系统 中 已 经 测试 正确 的 
某 类 ) 来 开始 构造 系统 ,在 独立 类 测试 完成 后 ,下 一 层 继承 独立 类 的 类 ( 称 为 依赖 类 ) 被 测试 ， 
这 个 依赖 类 层次 的 测试 序列 一 直 循环 执行 到 构造 完整 个 系统 。 

面向 对 象 的 集成 测试 能 够 检测 出 相对 独立 的 单元 测试 无 法 检测 出 的 那些 类 相互 作用 时 
才 会 产生 的 错误 。 基 于 单元 测试 对 成 员 函 数 行为 正确 性 的 保证 ,集成 测试 只 关注 于 系统 的 
结构 和 内 部 的 相互 作用 。 面 向 对 象 的 集成 测试 可 以 分 成 两 步 进 行 : 先进 行 静 态 测试 ,再 进 
行动 态 测试 。 


3. 面向 对 象 的 系统 测试 


通过 单元 测试 和 集成 测试 , 仅 能 保证 软件 开发 的 功能 得 以 实现 。 但 不 能 确认 在 实际 运 
行 时 , 它 是 否 满足 用 户 的 需要 ,是 否 大 量 存在 实际 使 用 条 件 下 会 被 诱发 产生 错误 的 隐患 。 为 
此 ,对 完成 开发 的 软件 必须 经 过 规范 的 系统 测试 。 换 个 角度 说 ,开发 完成 的 软件 仅仅 是 实际 
投入 使 用 系统 的 一 个 组 成 部 分 ,需要 测试 它 与 系统 其 他 部 分 配套 运行 的 表现 ,以 保证 在 系统 
各 部 分 协调 工作 的 环境 下 也 能 正常 工作 。 

系统 测试 是 对 所 有 程序 和 外 部 成 员 构成 的 整个 系统 进行 整体 测试 ,检验 软件 和 其 他 系 
统 成 员 配 合 工作 是 否 正 确 , 另 外 ,系统 测试 还 包括 了 确认 测试 内 容 , 以 验证 软件 系统 的 正确 
性 和 性 能 指标 等 是 否 满足 需求 规格 说 明 书 所 制订 的 要 求 。 它 与 传统 的 系统 测试 一 样 , 可 沿 
用 传统 的 系统 测试 方法 。 在 整个 面向 对 象 的 软件 测试 过 程 中 ,集成 测试 可 与 单元 测试 同时 
进行 ,以 减少 单元 集成 时 出 现 的 错误 。 对 已 经 测试 通过 的 单元 ,在 集成 测试 或 系统 测试 中 ， 
可 能 发 现 独 立 测试 没有 发 现 的 错误 。 

系统 测试 应 该 尽量 搭建 与 用 户 实际 使 用 环境 相同 的 测试 平台 ,应 该 保证 被 测 系 统 的 完 
整 性 ,对 临时 没有 的 系统 设备 部 件 , 也 应 有 相应 的 模拟 手段 。 系 统 测试 时 ,应 该 参考 面向 对 
象 分 析 的 结果 ,对 应 描述 的 对 象 . 属 性 和 各 种 服务 ,检测 软件 是 否 能 够 完全 “再 现 ” 问 题 空间 。 
系统 测试 不 仅 是 检测 软件 的 整体 行为 表现 ,从 另 一 个 侧面 看 ,也 是 对 软件 开发 设计 的 再 
确认 。 

这 里 说 的 系统 测试 是 对 测试 步骤 的 抽象 描述 。 它 体现 的 具体 测试 内 容 包 括 以 下 几 个 
方面 。 

COD 功能 测试 : 测试 是 否 满足 开发 要 求 , 是 否 能 够 提供 设计 所 描述 的 功能 ,是 否 用 户 的 
需求 都 得 到 满足 。 功 能 测试 是 系统 测试 最 常用 和 必需 的 测试 ,通常 还 会 以 正式 的 软件 说 明 
书 为 测试 标准 。 

(2) 强度 测试 : 测试 系统 的 能 力 最 高 实际 限度 , 即 软件 在 一 些 超 负 荷 的 情况 下 的 功能 
实现 情况 。 如 要 求 软件 某 一 行为 的 大 量 重复 .输入 大 量 的 数据 或 大 数值 数据 、 对 数据 库 大 量 
复杂 的 查询 等 。 

(3) 性 能 测试 : 测试 软件 的 运行 性 能 。 这 种 测试 常常 与 强度 测试 结合 进行 ,需要 事先 
对 被 测 软 件 提出 性 能 指标 ,如 传输 连接 的 最 长 时 限 、 传 输 的 错误 率 、 计 算 的 精度 、 记 录 的 精 
度 、 响 应 的 时 限 和 恢复 时 限 等 。 
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(4) 安全 测试 : 验证 安装 在 系统 内 的 保护 机 构 确 实 能 够 对 系统 进行 保护 ,使 之 不 受 各 
种 非常 的 干扰 。 安 全 测试 时 需要 设计 一 些 测试 用 例 试图 突破 系统 的 安全 保密 措施 ,检验 系 
统 是 否 有 安全 保密 的 漏洞 。 

O 恢复 测试 : 采用 人 工 的 干扰 使 软件 出 错 , 中 断 使 用 ,检测 系统 的 恢复 能 力 ,特别 是 
通信 系统 。 恢 复 测 试 时 ,应 该 参考 性 能 测试 的 相关 测试 指标 。 

(6) 可 用 性 测试 : 测试 用 户 是 否 能 够 满意 使 用 。 具 体 体现 为 操作 是 否 方便 ,用 户 界面 
是 否 友好 等 。 

ES JE 


6.6 小 结 


面向 对 象 软件 测试 强调 面向 对 象 软件 的 新 特性 (诸如 封装 、 集 成 .多 态 等 ) 给 测试 工作 带 
来 的 新 变化 ,如 何在 测试 工作 中 解决 这 些 问 题 是 我 们 学 习 的 重点 。 面 向 对 象 测试 模型 给 出 
了 一 种 整个 软件 开发 过 程 中 不 断 测试 的 测试 模型 ,使 开发 阶段 的 测试 与 编码 完成 后 的 单元 
测试 .集成 测试 ,系统 测试 成 为 一 个 整体 。 


习题 


1. 类 测试 应 该 怎样 进行 ? 面向 对 象 软件 的 单元 测试 和 集成 测试 应 该 采用 什么 样 的 测 
试 策略 ? 

2. 简 述 面向 对 象 软件 的 功能 和 性 能 测试 。 

3. 面向 对 象 的 软件 测试 分 哪 几 部 分 ? 


软件 自动 化 测试 | 


随 着 软件 开发 技术 的 快速 发 展 , 软 件 设 计 和 编码 的 效率 得 到 非常 大 的 提高 。 然 而 软件 
测试 的 工作 量 与 过 去 相 比 并 未 减少 ,相反 在 整个 软件 生命 周期 中 ,所 占 比 例 呈 不 断 上 升 趋 
势 。 为 提高 软件 开发 的 效率 和 软件 质量 ,将 测试 自动 化 蔡 代 一 部 分 手工 测试 是 非常 有 用 的 

自动 化 测试 就 是 希望 能 够 通过 自动 化 测试 工具 或 者 其 他 手段 ,按照 测试 工程 师 的 预定 
计划 进行 自动 测试 ,其 目的 是 减轻 手工 测试 的 劳动 量 ,同时 达到 提高 软件 质量 的 目的 , 它 涉 
及 测试 流程 .测试 体系 、 自 动 化 编译 、 持 续集 成 、 自 动 发 布 测试 系统 以 及 自动 化 测试 等 方面 。 

本 章 要 点 : 

。 自动 化 测试 定义 。 

。 自动 化 测试 的 必要 性 和 优 缺点 。 

。 自动 化 测试 生命 周期 。 

* 自动 化 测试 的 实施 。 

。 自动 化 测试 原理 和 方法 。 

。 自动 化 测试 工具 的 作用 和 优势 。 

。 自动 化 测试 工具 的 分 类 。 

。 自动 化 测试 工具 的 局 限 性 。 


6.1 软件 自动 化 测试 概述 
A 


5.1.1 自动 化 测试 定义 


什么 是 自动 化 测试 ? 

根据 软件 质量 工程 协会 关于 自动 化 测试 的 定义 : 自动 化 测试 就 是 利用 策略 .工具 等 , 减 
少 人 工 介 入 的 非 技术 性 ,重复 性 、 宛 长 的 测试 活动 。 

其 实 ,软件 自动 化 测试 就 是 执行 用 某 种 程序 设计 语言 编制 的 自动 测试 程序 ,控制 被 测试 
软件 的 执行 ,模拟 手动 测试 步骤 ,完成 全 自动 或 是 半自动 测试 。 

全 自动 测试 就 是 指 在 自动 测试 过 程 中 ,根本 不 需要 人 工 干预 ,由 程序 自动 完成 测试 的 全 
过 程 。 半 自动 测试 就 是 指 在 自动 测试 过 程 中 ,需要 由 人 工 输 入 测试 用 例 或 选择 测试 路 径 ,再 
由 自动 测试 程序 按照 人 工 制 订 的 要 求 完成 自动 测试 。 
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5.1.2 自动 化 测试 与 手工 测试 的 比较 


通常 ,软件 测试 的 工作 量 很 大 ,测试 会 占 到 40% 的 开发 时 间 ,一 些 可 靠 性 要 求 非常 高 的 
软件 ,测试 时 间 甚 至 占 到 开发 时 间 的 60%。 而 在 具体 的 测试 实施 中 ,有 手工 测试 和 自动 测 
试 之 分 。 手 工 测试 是 指 软件 测试 工程 师 通 过 安装 和 运行 被 测 软 件 , 根 据 测试 文档 的 要 求 , 运 
行 测试 用 例 ,观察 软件 运行 结果 是 否 正常 的 过 程 。 但 是 在 实际 软件 开发 生命 周期 中 ,手工 测 
试 具有 以 下 局 限 性 : 

(1) 通过 手工 测试 无 法 做 到 覆盖 所 有 代码 路 径 。 

(2) 简单 的 功能 性 测试 用 例 在 每 一 轮 测试 中 都 不 能 少 ,而 且 具 有 一 定 的 机 械 性 、 重 复 
性 ,工作 量 往 往 较 大 。 

CD 许多 与 时 序 、 死 锁 ,资源 冲突 、 多 线程 等 有 关 的 错误 ,通过 手工 测试 很 难 捕捉 到 。 

(4) 进行 系统 负载 ,性 能 测试 时 ,需要 模拟 大 量 数据 或 大 量 并 发 用 户 等 各 种 应 用 场合 
时 ,很 难 通过 手工 测试 来 进行 。 

(5) 进行 系统 高 可 靠 性 测试 时 ,需要 模拟 系统 运行 10 年 、 几 十 年 的 情况 ,以 验证 系统 能 
否 稳定 运行 ,这 也 是 公共 测试 无 法 模拟 的 。 

(6) 如 果 有 大 量 ( 如 几 千 ) 的 测试 用 例 ,需要 在 短 时 间 内 (如 一 天 ) 完 成 ,手工 测试 不 可 能 
做 到 。 

(7) 回归 测试 难以 做 到 全 面 测 试 。 

自动 化 测试 是 指使 用 各 种 自动 化 测试 工具 软件 ,通过 运行 事先 设计 的 测试 脚本 等 文件 ， 
测试 被 测 软 件 、 自 动产 生 测试 报告 的 过 程 。 这 样 就 可 以 节省 人 力 , 具 有 良好 的 可 操作 性 、 可 
重复 性 和 高 效率 等 特点 。 

手工 测试 和 自动 化 测试 的 比较 见 表 5-1。 


表 5-1 手工 测试 和 自动 化 测试 情况 比较 


测试 步 又 手工 测试 /小 时 自动 化 测试 /小 时 改进 百分率 (使 用 工具 ) 
测试 计划 制度 22 40 25% 
测试 程序 开发 262 117 55% 
测试 执行 466 23 9556 
测试 结果 分 析 117 58 50% 
错误 状态 /纠正 监视 117 23 80% 
REER 96 16 83% 
总 持续 时 间 1090 277 75% 


5.1.3 软件 测试 自动 化 的 优 缺 点 
1. 自动 化 测试 的 优点 


自动 化 测试 的 优点 是 同 手工 测试 比较 所 体现 出 来 的 。 与 手工 测试 相 比 ,自动 化 测试 具 
有 手工 测试 所 无 法 比拟 的 优点 , 且 可 以 执行 一 些 手工 测试 不 可 能 或 很 难 完成 的 测试 。 
* 人 性 能 方面 的 测试 。 
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压力 测试 .并 发 测试 ,大 数据 量 测 试 和 前 溃 性 测试 ,用 手工 测试 是 不 可 能 达到 的 。 例 如 ， 
对 于 100 个 用 户 的 联机 系统 ,用 户 手工 进行 并 发 操作 是 几乎 不 可 能 的 ,但 自动 测试 可 以 模拟 
来 自 100 个 用 户 的 输入 。 

。 提高 测试 的 效率 ,尤其 是 运行 元 长 而 复杂 的 测试 时 ,自动 化 是 必需 的 。 

。 提高 测试 的 准确 性 ,降低 对 测试 工程 师 的 技术 要 求 。 

。 可 实现 无 人 照看 测试 ,更 好 地 利用 时 间 资 源 。 

。 具有 一 致 性 和 可 重复 性 。 

* 利于 进行 回归 测试 .适应 性 测试 .可 移植 性 测试 ,性 能 测试 和 配置 测试 。 

。 缩短 测试 的 时 间 。 

。 有 利于 解决 测试 与 开发 之 间 的 矛盾 。 

。 从 经 济 上 考虑 ,自动 测试 通常 比 手工 测试 有 优越 性 。 

f 与 手工 测试 相 比 ,自动 测试 的 修改 性 比较 低 。 


2. 自动 化 测试 的 缺点 


自动 化 测试 好 处 虽然 很 多 ,但 并 不 是 万 能 的 ,也 存在 着 一 定 的 局 限 性 。 自 动 测试 的 缺点 
如 下 : 

* 软件 自动 测试 并 不 能 代替 人 的 工作 ,尤其 是 带 有 智力 性 质 的 手工 测试 。 

* 软件 测试 自动 化 可 能 降低 测试 的 效率 。 

* 自动 测试 并 非 像 测试 工程 师 所 期 望 的 那样 能 发 现 大 量 的 错误 。 

。 缺乏 测试 经 验 。 

e 技术 问题 .组 织 问题 和 脚本 维护 。 

因此 ,应 该 对 软件 自动 化 测试 有 正确 的 认识 , 它 并 不 能 完全 代替 手工 测试 。 不 要 完全 期 
望 有 了 自动 化 测试 就 能 提高 测试 的 质量 。 如 果 测 试 工 程 师 缺 少 测试 的 技能 ,那么 测试 也 可 
能 会 失败 。 

综合 上 述 自 动 测试 的 优 缺 点 ,相信 经 过 自动 测试 经 验 的 不 断 积累 和 自动 测试 工具 性 能 
的 不 断 提高 ,自动 测试 能 替代 手工 测试 的 工作 会 越 来 越 多 ,从 而 自动 测试 成 为 对 手工 测试 的 
有 利 补充 。 合 理 的 运用 自动 化 测试 可 以 大 大 提高 工作 效率 ,反之 则 会 是 蛋 梦 。 无 论 测 试 自 
动 化 多 么 强大 ,在 现 阶 段 依然 是 以 手工 测试 为 主 。 


6.2 软件 自动 化 测试 的 引入 和 实施 


5.2.1 软件 自动 化 测试 的 引入 原则 


对 于 软件 测试 自动 化 的 工作 ,大 多 数 人 都 认为 是 一 件 非 常 容易 的 事 。 其 实 软件 测试 自 
动 化 的 工作 量 非常 大 ,而 且 也 并 不 是 在 任何 情况 下 都 适用 ,同时 软件 测试 自动 化 的 设计 并 不 
比 程序 设计 简单 。 在 自动 化 测试 实施 之 前 ,测试 团队 应 该 找 出 能 自动 化 的 软件 测试 过 程 以 
及 应 该 自动 化 的 软件 测试 过 程 ; 知道 自动 化 测试 的 预期 结果 并 列 出 在 正确 执行 自动 化 测试 
后 的 益处 ; 同时 ,需要 列 出 自动 化 测试 工具 的 备 选 方 案 。 因 此 ,软件 测试 的 自动 化 是 一 个 渐 
近 的 过 程 ,自动 化 测试 既 不 能 解决 软件 测试 中 的 所 有 问题 ,也 不 意味 着 任何 软件 测试 都 可 以 
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自动 化 。 要 成 功 地 实现 软件 测试 自动 化 ,需要 周密 的 计划 和 大 量 艰苦 的 工作 ,软件 测试 自动 
化 的 开发 人 员 首先 必须 清楚 认识 到 该 自动 化 什么 。 以 下 几 条 可 以 作为 自动 化 软件 测试 的 
标准 。 

1) 自动 化 回归 测试 

从 软件 测试 自动 化 的 目的 知道 ,软件 测试 自动 化 所 获得 的 好 处 来 自 于 自动 化 测试 工具 
的 重复 使 用 ,回归 测试 应 该 作为 自动 化 的 首要 目标 。 

2) 自动 化 重复 性 测试 

如 果 一 个 测试 经 常 使 用 ,并 且 使 用 这 个 测试 不 方便 ,那么 就 应 该 考虑 自动 化 这 个 测试 。 

3) 自动 化 已 经 实现 的 手工 测试 用 例 

对 软件 测试 自动 化 之 前 ,通常 已 经 有 许多 已 实现 的 ,详细 的 手工 测试 用 例 , 从 中 选择 可 
以 自动 化 的 手工 测试 用 例 进 行 自动 化 。 

4) 自动 化 对 稳定 应 用 进行 的 测试 

在 对 某 一 个 应 用 进行 自动 化 测试 之 前 ,首先 应 该 确定 该 应 用 是 否 稳定 。 

5) 自动 化 性 能 测试 

对 软件 进行 的 性 能 测试 ,包括 在 不 同 的 系统 负载 下 进行 的 测试 。 这 些 测 试 需 要 采用 工 
具 辅 助 完成 ,非常 适合 自动 化 。 

在 确定 自动 化 哪些 测试 之 后 ,要 评估 自动 化 测试 的 时 间 。 据 统计 ,开发 一 个 自动 化 测试 
的 时 间 , 是 手工 测试 的 3 一 10 倍 ,对 于 复杂 的 测试 ,甚至 更 长 。 因 此 ,初次 实施 自动 化 测试 的 
时 间 消 耗 ,要 比 熟悉 工具 和 测试 流程 后 需要 的 时 间 更 长 ,在 评估 自动 化 测试 的 时 间 消 耗 时 ， 
一 定 要 将 其 考虑 在 内 。 所 以 ,一 般 挑选 时 间 消 耗 比较 大 的 测试 先 实行 自动 化 测试 。 

最 后 ,确定 自动 化 测试 的 执行 顺序 。 这 里 最 重要 的 原则 就 是 采用 和 迭代 的 方式 确定 自动 
化 测试 的 执行 顺序 。 首 先 确定 每 个 迭代 的 目标 ,挑选 最 能 获得 投资 回报 的 测试 ,例如 冒 烟 测 
试 几乎 总 是 能 立即 获得 时 间 和 资源 上 的 回报 ,再 挑选 最 容易 开发 脚本 、 最 容易 理解 的 测试 实 
行 自动 化 ,之 后 逐渐 扩展 并 迭代 。 


5.2.2 软件 自动 化 测试 生命 周期 


软件 自动 化 测试 是 一 个 复杂 的 过 程 , 它 和 软件 开发 项 目 一 样 ,有 生命 周期 。 自 动 化 测试 
的 执行 应 经 过 需求 定义 ,测试 计划 ,测试 设计 ,测试 开发 等 一 系列 的 活动 , 它 必 须 被 视 为 一 个 
完整 的 软件 开发 过 程 。 由 Elfreide Dustin 提出 的 自动 化 测试 生命 周期 方法 ATLM 
(Automated Testing Lifecycle Methodology) 为 自动 化 测试 的 成 功 实 施 指明 了 方向 。 
ATLM 包括 6 个 主要 过 程 : 自动 化 测试 决策 ,自动 化 测试 工具 获取 ,自动 化 测试 引入 过 程 ， 
自动 化 测试 计划 、 设 计 和 开发 ,自动 化 测试 的 执行 和 管理 和 自动 化 测试 项 目 评审 。 具体 情况 
如 图 5-1 所 示 。 

1) 自动 化 测试 决策 

在 这 一 阶段 ,企业 要 根据 自身 的 实际 情况 分 析 是 否 应 该 引入 自动 化 测试 ,克服 不 正确 的 
自动 测试 期 望 ,认识 到 自动 化 测试 的 好 处 ; 同时 ,测试 工程 师 需要 列 出 自动 化 测试 工具 的 备 
选 方案 ,以 获得 管理 层 的 支持 。 

2) 自动 化 测试 工具 获取 

在 得 到 决策 者 的 支持 以 后 ,测试 工程 师 要 选择 合适 的 测试 工具 来 支持 自动 化 测试 。 首 
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4. 自 动 化 测试 计划 、 设 计 和 开发 3. 自 动 化 测试 引入 过 程 


自动 化 测试 
生命 周期 方法 


DEIGEEREIO REX 


6. 自 动 化 测试 项 目 评审 1 .自动 化 测试 决策 


图 5-1 软件 自动 化 测试 生命 周期 方法 


先 , 测 试 工程 师 要 审查 企业 系统 ,制订 一 个 工具 的 评审 标准 ,确保 测试 工具 与 本 企业 内 部 操 
作 系 统 、 编 程 语言 以 及 其 他 技术 环境 尽 可 能 多 的 兼容 。 然 后 ,要 评审 可 以 得 到 的 测试 工具 ， 
选择 一 个 或 多 个 特定 的 获 选 测试 工具 。 最 后 ,确定 测试 工具 ,与 工具 供应 商 联系 产品 演示 事 
宜 , 如 果 有 可 能 ,对 全 体 测试 人 员 进 行 测试 工具 的 培训 。 

3) 自动 化 测试 引入 过 程 

自动 化 测试 的 引入 过 程 主要 就 是 分 析 测 试 过 程 的 目标 .目的 和 策略 ,然后 验证 测试 工具 
是 否 能 够 支持 大 多 数 项 目的 测试 需求 。 测 试 过 程 分 析 确 保 整个 测试 过 程 和 测试 策略 适当 ， 
必要 时 可 以 加 以 改进 ,以 便 成 功 地 引入 自动 化 测试 。 测 试 工具 考察 阶段 ,测试 工程 师 根据 测 
试 需求 .可 用 的 测试 环境 和 人 力 资 源 、 用 户 环 境 , 平 台 以 及 被 测 的 应 用 产品 特性 ,研究 将 自动 
化 测试 工具 或 使 用 程序 引入 测试 工作 是 否 对 项 目 有 好 处 。 

D 自动 化 测试 计划 、 设 计 和 开发 

在 测试 计划 阶段 ,要 特别 注重 确定 测试 的 文档 ,制订 能 够 达到 测试 目的 和 支持 测试 环境 
的 计划 ,编制 测试 计划 文档 。 它 包括 风险 评估 、 鉴 别 和 确定 测试 需求 的 优先 级 ,估计 测试 资 
源 的 需求 量 ,开发 测试 项 目 计 划 以 及 给 测试 小 组 成 员 分 配 测试 职责 ; 测试 设计 阶段 需要 确 
定 所 要 执行 的 测试 数目 ,测试 方式 ,必须 执行 的 测试 条 件 以 及 需要 建立 和 遵循 的 测试 设计 标 
准 ; 测试 开发 , 即 开发 自动 化 测试 脚本 ,为 了 使 自动 化 测试 可 重用 、 可 维护 、 可 扩展 ,必须 定 
义 和 遵 循 测试 开发 的 标准 。 

5) 自动 化 测试 的 执行 和 管理 

在 这 个 阶段 ,测试 人 员 必 须根 据 测试 的 日 常安 排 来 执行 测试 脚本 ,并 改善 这 些 脚本 。 在 
这 个 过 程 中 还 必须 评审 测试 的 结果 ,以 避免 错误 的 结果 。 系 统 的 问题 应 通过 系统 问题 报告 
记录 在 案 ,并 帮助 开发 人 员 理解 和 重 现 这 些 问题 。 最 后 ,测试 团队 需要 进行 回归 测试 来 追踪 
和 关闭 这 些 问 题 。 

6) 自动 化 测试 项 目 评审 

测试 项 目的 评审 必须 贯穿 于 整个 自动 化 测试 生命 周期 ,以 利于 测试 活动 的 不 断 改进 , 必 
须 有 相应 的 标准 来 衡量 评审 的 效果 。 

ATLM 是 一 种 结构 化 的 方法 , 它 规定 了 测试 方法 和 执行 测试 的 流程 ,使 得 软件 专业 人 
员 能 进行 可 重复 的 软件 测试 。 把 ATLM 应 用 到 自动 化 测试 项 目 中 ,一 方面 规范 了 测试 流 
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程 ,便于 测试 的 管理 ; 另 一 方面 也 使 测试 团队 能 在 测试 资源 受 限 的 情况 下 有 效 组 织 和 执行 
测试 活动 ,达到 使 测试 覆盖 率 最 大 的 目的 。 


5.2.3 软件 自动 化 测试 实施 中 存在 的 问题 


在 软件 自动 化 测试 的 实施 过 程 中 会 遇 到 许多 问题 ,以 下 是 一 些 比较 普遍 的 问题 : 

CD 不 现实 的 期 望 。 一 般 来 说 ,业界 对 于 任何 新 技术 的 解决 方案 都 深信 不 疑 ,认为 可 以 
解决 面临 的 所 有 问题 ,对 于 测试 工具 也 不 例外 。 但 事实 上 ,如 果 期 望 不 现实 ,无 论 测试 工具 
如 何 , 都 满足 不 了 期 望 。 

(2) 缺乏 经 验 。 如 果 缺 乏 测试 的 实践 经 验 ,测试 组 织 差 , 文 档 较 少 或 不 一 致 , 测 试 发 现 
缺陷 的 能 力 就 差 。 因 此 ,首先 要 做 的 就 是 改进 测试 的 有 效 性 ,而 不 是 改进 测试 效率 。 只 有 手 
工 测试 积累 到 一 定 程度 ,才能 做 好 自动 化 测试 。 

(3) 期 望 自动 测试 发 现 大 量 的 缺陷 。 测 试 第 一 次 运行 时 最 有 可 能 发 现 缺陷 ,如 果 测 试 
已 经 运行 ,再 次 运行 相同 的 测试 发 现 新 缺陷 的 概率 就 小 得 多 。 对 回归 测试 而 言 ,再 次 运行 相 
同 的 测试 只 是 确保 修改 是 否 是 正确 的 ,并 不 能 发 现 很 多 新 的 问题 。 

(4) 安全 性 错觉 。 如 果 自 动 测试 过 程 没有 发 现任 何 缺 陷 , 并 不 意味 着 软件 没有 缺陷 ,可 
能 由 于 测试 设计 的 原因 导致 测试 本 身 就 有 缺陷 。 

(5) 自动 化 测试 的 维护 性 。 当 软件 修改 后 ,通常 也 需要 修改 部 分 测试 ,这 样 必然 导致 对 
自动 化 测试 的 修改 。 在 进行 自动 化 测试 的 设计 和 实现 时 ,需要 注意 这 个 问题 ,防止 自动 化 测 
试 带 来 的 好 处 被 过 高 的 维护 成 本 所 淹没 。 

(6) 技术 问题 。 商 业 的 测试 工具 也 是 软件 产品 ,并 不 能 解决 所 有 的 问题 ,通常 在 某 些 地 
方 会 有 缺陷 。 测 试 工具 都 有 适用 范围 ,要 很 好 地 利用 它 , 对 使 用 者 进行 培训 是 必 不 可 少 的 。 

(7) 组 织 问 题 。 自 动 测试 实施 并 不 简单 ,必须 有 管理 支持 及 组 织 艺 术 。 
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近年 来 ,软件 已 经 成 为 商业 的 重要 组 成 部 分 。 减 少 软件 开发 费用 并 增强 软件 质量 已 经 
成 为 了 软件 业 的 重要 目标 。 为 此 ,软件 组 织 也 付出 了 很 大 的 努力 ,并 且 许 多 公司 也 已 经 成 功 
地 开发 了 一 些 软件 测试 工具 。 


5.3.1 自动 化 测试 原理 和 方法 


软件 测试 自动 化 实现 的 基础 是 可 以 通过 设计 的 特殊 程序 模拟 测试 工程 师 对 计算 机 的 操 
作 过程 、 操 作 行为 ,或 者 类 似 于 编译 系统 那样 对 计算 机 程序 进行 检查 。 

软件 测试 自动 化 实现 的 原理 和 方法 主要 有 : 直接 对 代码 进行 静态 和 动态 分 析 、 测 试 过 
程 的 捕获 和 回放 、 测 试 脚本 技术 、 虚 拟 用 户 技 术 和 测试 管理 技术 。 


1. 代码 分 析 


代码 分 析 类 似 于 高 级 语言 编译 系统 ,一 般 针 对 不 同 的 高 级 语言 去 构造 分 析 工 具 , 在 工具 
中 定义 类 、 对 象 .函数 、 变 量 等 规则 、 语 法 规则 ; 在 分 析 时 对 代码 进行 语法 扫描 , 找 出 不 符合 
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编码 规范 的 地 方 ; 根据 某 种 质量 模型 评价 代码 质量 ,生成 系统 的 调用 关系 图 等 。 
2. 捕获 回放 


代码 分 析 是 一 种 白 盒 测 试 的 自动 化 方法 ,捕获 和 回放 则 是 一 种 黑 盒 测试 的 自动 化 方法 。 
捕获 是 将 用 户 的 每 一 步 操作 都 记录 下 来 。 这 种 记录 的 方式 有 两 种 : 一 种 是 记录 程序 用 户 界 
面 的 像素 坐标 或 程序 显示 对 象 (窗口 .按钮 .滚动 条 等 ) 的 位 置 , 另 一 种 方式 是 记录 相对 应 的 
操作 、 状 态 变化 或 是 属性 变化 。 所 有 的 记录 转换 为 一 种 脚本 语言 所 描述 的 过 程 ,以 模拟 用 户 
的 操作 。 

回放 时 ,将 脚本 语言 所 描述 的 过 程 转换 为 屏幕 上 的 操作 ,然后 将 被 测 系统 的 输出 记录 下 
来 同 预先 给 定 的 标准 结果 比较 。 

捕获 和 回放 可 以 大 大 减轻 黑 盒 测试 的 工作 量 ,在 迭代 开发 的 过 程 中 ,能 够 很 好 地 进行 回 
归 测试 。 

录制 手工 测试 可 以 很 快 得 到 可 回放 的 测试 比较 结果 ; 捕获 和 录 带 调试 输入 可 以 自动 产 
生 执行 测试 的 文档 ,这 样 可 提供 审计 追踪 的 功能 ,准确 了 解 所 发 生 的 事件 ; 录制 手工 测试 可 
以 对 大 量 的 文件 或 数据 库 进行 相同 的 修改 和 维护 ; 另外 还 可 以 用 于 演示 。 


3. 录制 回放 


目前 的 自动 化 负载 测试 解决 方案 几乎 都 是 采用 “录制 /回放 ”的 技术 。 

所 谓 的 “录制 /回放 ?技术 ,就 是 先 由 手工 完成 一 遍 需要 测试 的 流程 ,同时 由 计算 机 记录 
下 这 个 流程 期 间 客 户 端 和 服务 器 端 之 间 的 通信 信息 ,这 些 信息 通常 是 一 些 协议 和 数据 ,并 形 
成 特定 的 脚本 程序 (Script) 。 然 后 在 系统 的 统一 管理 下 同时 生成 多 个 虚拟 用 户 , 并 运行 该 
脚本 ,监控 硬件 和 软件 平台 的 性 能 ,提供 分 析 报 告 或 相关 资料 。 这 样 通过 几 台 机 器 就 可 以 模 
拟 出 成 百 上 千 的 用 户 对 应 用 系统 进行 负载 能 力 的 测试 。 

录制 回放 的 测试 事例 脚本 过 程 如 图 5-2 所 示 。 测 试 工具 读 取 测试 脚本 ,激活 被 测 软件 ， 
然后 执行 被 测 软件 。 测 试 工具 执行 的 操作 以 及 有 效 输入 到 被 测 软件 中 的 信息 和 测试 脚本 中 
描述 的 一 样 。 在 测试 过 程 中 ,被 测 软件 读 取 初始 阅读 文档 中 的 初始 数据 ,在 执行 过 脚本 中 的 
命令 后 将 最 后 结果 输出 到 编辑 文档 中 。 测 试 过 程 中 ,日 志文 件 也 随 之 生成 ,里 面包 括 测 试 运 
行 中 的 所 有 重要 信息 ,通常 日 志文 件 包 括 运行 时 间 、 执 行者 .比较 结果 以 及 测试 工具 按照 脚 
本 命令 要 求 输出 的 任何 信息 。 


4. 脚本 技术 


脚本 是 一 组 测试 工具 执行 的 指令 集合 ,也 是 计算 机 程序 的 一 种 形式 。 脚 本 可 以 通过 录 
制 测试 的 操作 产生 ,然后 再 做 修改 ,这 样 可 以 减少 脚本 编程 的 工作 量 。 当 然 也 可 以 直接 用 脚 
本 语言 编写 脚本 。 脚 本 语言 和 编程 工具 语言 非常 相似 ,更 接近 于 网 页 脚本 语言 。 它 有 自己 
的 语法 规则 、 保 留 字 等 ,也 遵循 着 软件 工程 的 原则 ,需要 考虑 结构 化 设计 和 文档 的 健全 编写 。 

对 比 编程 工具 语言 ,测试 脚本 语言 也 可 分 为 : 线形 脚本 、 结 构 化 脚本 .共享 脚本 数据 驱 
动 脚本 和 关键 字 驱 动 脚本 。 

脚本 中 包含 的 是 测试 数据 和 指令 ,一 般 包括 如 下 信息 : 

。 同步 ( 何 时 进行 下 一 个 输入 ) 。 


113 


NA 


114 


x 


软件 测试 实践 教程 


输入 测试 脚本 


阅读 初始 文档 编辑 文档 


5-2 录制 回放 脚本 示意 图 


* 比较 信息 (比较 什么 ,比较 标准 ) 。 

。 捕获 何 种 屏幕 数据 及 存储 在 何 处 。 

。 从 哪个 数据 源 或 从 何 处 读 取 数 据 。 

”控制 信息 。 

脚本 技术 可 以 分 为 以 下 几 类 : 

。 线 性 脚本 : 是 录制 手工 执行 的 测试 用 例 得 到 的 脚本 。 

结构 化 脚本 : 类 似 于 结构 化 程序 设计 ,具有 各 种 逻辑 结构 (顺序 分支 ,循环 ) ,而 且 
具有 函数 调用 功能 。 

共享 脚本 : 是 指 某 个 脚本 可 被 多 个 测试 用 例 使 用 , 即 脚 本 语言 允许 一 个 脚本 调用 另 
一 个 脚本 。 

e 数据 驱动 脚本 : 将 测试 输入 存储 在 独立 的 数据 文件 中 。 

关键 字 驱 动 脚本 : 是 数据 驱动 脚本 的 逻辑 扩展 。 


5. 自动 比较 


既然 软件 测试 是 检验 软件 功能 、 性 能 等 的 软件 开发 活动 ,那么 自动 比较 在 软件 测试 中 的 
作用 当然 是 重要 的 。 以 此 推 之 ,软件 测试 自动 化 中 的 自动 比较 在 自动 化 中 也 是 关键 的 。 测 
试 工具 的 技术 核心 也 在 于 自动 比较 是 如 何 实现 的 ,不 同 的 测试 自动 化 工具 的 技术 是 不 尽 相 
同 的 。 比 如 说 图 像 的 比较 ,有 的 测试 工具 是 按 像素 逐 位 进行 比较 ; 而 有 的 工具 则 是 先 对 图 
像 进 行 处 理 , 然 后 对 处 理 后 的 图 像 按 基线 比较 ; 更 有 巧妙 的 测试 工具 是 把 两 个 图 像 的 像素 
点 异 或 运算 ,如 果 两 个 相同 的 话 , 则 产生 一 片 空白 的 第 三 个 图 像 。 比 较 技术 不 同 ,比较 的 质 
量 和 效率 也 是 不 一 样 的 。 

在 自动 化 比较 之 前 的 活动 是 准备 期 望 输出 ,根据 输入 计算 或 估计 被 处 理 的 输入 所 产生 
的 输出 ,然后 在 期 望 输出 和 实际 输出 之 间 进 行 比较 。 在 这 里 ,产生 比较 错误 的 一 个 可 能 就 是 
期 望 输出 中 有 错误 ,这 样 测试 的 一 部 分 报告 会 显示 比较 结果 中 此 处 有 比较 差 ,这 是 测试 错 
误 , 而 非 软 件 错误 。 另 外 ,自动 比较 不 如 手工 比较 灵活 ,每 次 自动 测试 ,都 会 盲目 地 以 相同 方 
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式 重 复 相 同 的 比较 。 如 果 软 件 发 生变 化 , 则 必须 相应 更 新 测试 事例 ,这 样 的 维护 费用 就 很 高 
了 。 但 因为 比较 大 量 的 数字 、 屏 幕 输出 磁盘 输入 或 其 他 形式 的 输出 是 非常 烦琐 的 事情 ,使 
用 自动 比较 代替 人 工 比 较 是 个 很 好 的 捷径 ,就 如 汽车 车 间 的 焊接 一 般 都 是 由 机 器 人 完成 的 
一 样 。 

总 结 一 下 ,自动 比较 包括 : 

t 基态 比较 和 动态 比较 。 

。 简单 比较 和 复杂 比较 。 

。 敏感 性 测试 比较 和 健壮 性 测试 比较 。 

* 比较 过 滤器 。 


5.3.2 自动 化 测试 工具 的 特征 
一 般 来 说 ,一 个 好 的 自动 化 测试 工具 一 般 应 具有 以 下 几 条 关键 特征 ， 


1. 支持 脚本 化 语言 


这 是 最 基本 的 一 条 要 求 ,脚本 语言 具有 与 编程 语言 类 似 的 语法 结构 ,可 以 对 已 经 录制 好 
的 脚本 进行 编辑 修改 。 具 体 来 讲 , 应 该 至 少 具备 以 下 功能 : 

。 支持 多 种 常用 的 变量 和 数据 类 型 。 

* 支持 数组 列表, 结构 以 及 其 他 混合 数据 类 型 。 

。 支持 各 种 条 件 逻辑 (if case 等 语句 ) 。 

脚本 语言 的 功能 越 强大 ,就 越 能 够 为 测试 开发 人 员 提 供 更 灵活 的 使 用 空间 ,而 且 有 可 能 
用 一 个 复杂 的 语言 写 出 比 被 测 软件 还 要 复杂 的 测试 系统 。 所 以 ,必须 确认 脚本 语言 的 功能 
可 以 满足 测试 的 需求 。 


2. 对 程序 界面 对 象 的 识别 能 力 


测试 工具 必须 能 够 将 测试 程序 界面 中 的 所 有 对 象 区 分 并 标识 出 来 ,录制 的 测试 脚本 才 
具有 更 好 的 可 读 性 、 灵 活性 和 更 大 的 修改 空间 。 如 果 只 通过 位 置 坐标 来 区 分 对 象 , 它 的 灵活 
性 就 差 很 多 了 。 

对 于 用 一 些 比 较 通用 的 开发 工具 写 的 程序 ,如 PB, Delphi 和 MFC, 大 多 数 测试 工具 都 
能 区 分 和 标识 出 程序 界面 里 的 所 有 元 素 ,但 对 一 些 不 太 普 及 的 开发 工具 或 是 库 函 数 ,工具 的 
支持 会 比较 差 。 因 此 ,在 开发 测试 工具 时 对 开发 语言 的 支持 是 很 重要 的 一 项 。 


3. 支持 函数 的 可 重用 


如 果 支 持 函 数 调用 ,可 以 建立 一 套 比 较 通 用 的 函数 库 , 一 旦 程序 做 了 改动 ,只 需要 把 原 
来 脚本 中 的 相应 函数 进行 更 改 , 而 不 用 把 所 有 可 能 的 脚本 都 修改 ,可 以 节省 很 大 的 工作 量 。 

测试 工具 在 这 项 功能 上 的 实现 情况 有 两 点 要 注意 : 首先 要 确保 脚本 能 比较 容易 地 实现 
对 函数 的 调用 ; 其 次 还 要 支持 脚本 与 被 调 函 数 之 间 的 参数 传递 ,比如 对 于 用 户 登录 函数 ,每 
次 调用 时 可 能 都 需要 使 用 不 同 的 用 户 名 和 口令 ,此 时 就 必须 通过 参数 的 传递 将 相关 信息 送 
到 函数 内 部 执行 。 
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4. 支持 外 部 函数 库 


除了 针对 被 测 系统 建立 库 函 数 外 ,一 些 外 部 函数 同样 能 够 为 测试 提供 更 强大 的 功能 ,如 
Windows 程序 中 对 文件 的 访问 ,C/S 程序 中 对 数据 库 编 程 接口 的 调用 等 。 


5. 抽象 层 


抽象 层 的 作用 是 将 程序 界面 中 存在 的 所 有 对 象 实体 一 一 映射 成 逻辑 对 象 ,帮助 减少 测 
试 维护 工作 量 。 有 些 工 具 称 这 一 层 叫 TestMap,GuiMap 或 TestFrajne。 举 个 简单 的 例子 
来 看 看 抽象 层 的 作用 ,例如 ,一 个 用 户 登 录 窗 口 ,其 中 需要 输入 两 条 信息 ,程序 中 对 这 两 条 信 
息 的 标识 分 别 叫 Name 和 Password, 而 且 在 很 多 脚本 里 都 要 做 登录 操作 。 但 是 ,在 软件 的 
下 一 个 版 本 中 ,登录 窗口 中 两 条 输入 信息 的 标识 变 成 了 UserName 和 Pword, 这 时 候 只 需要 
将 抽象 层 中 这 两 个 对 象 的 标识 进行 一 次 修改 就 可 以 了 。 脚 本 执行 时 通过 抽象 层 会 自动 使 用 
新 的 对 象 标识 。 通 过 测试 工具 支持 程序 界面 的 自动 搜索 ,建立 所 有 对 象 的 抽象 层 ,当然 也 可 
以 手工 建立 或 进行 一 些 定制 操作 。 


5.3.3 自动 化 测试 工具 的 作用 和 优势 


软件 测试 自动 化 通常 借助 测试 工具 进行 。 测 试 工具 可 以 进行 部 分 测试 的 设计 、 实 现 、 执 
行 和 比较 的 工作 。 部 分 测试 工具 可 以 实现 测试 用 例 的 自动 生成 ,但 通常 的 工作 方式 为 人 工 
设计 测试 用 例 , 使 用 工具 进行 用 例 的 执行 和 比较 。 如 果 采 用 自动 比较 技术 ,还 可 以 自动 完成 
测试 用 例 执行 结果 的 判断 ,从 而 避免 人 工 比 对 存在 的 玻 漏 问题 。 

因此 ,自动 化 测试 工具 的 作用 如 下 所 示 : 

* 确定 系统 最 优 的 硬件 配置 。 

"检查 系统 的 可 靠 性 。 

"检查 系统 硬件 和 软件 的 升级 情况 。 

"评估 新 产品 。 

而 自动 化 测试 工具 的 优势 主要 体现 在 以 下 几 个 方面 : 
记录 业务 流程 并 生成 脚本 程序 的 能 力 。 
对 各 种 网 络 设备 (客户 机 或 服务 器 、 其 他 网 络 设备 ) 的 模仿 能 力 。 
用 有 限 的 资源 生成 高 质量 虚拟 用 户 的 能 力 。 
对 于 整个 软件 和 硬件 系统 中 各 个 部 分 的 监控 能 力 。 
对 于 测试 结果 的 表现 和 分 析 能 力 。 


5.3.4 软件 自动 化 测试 工具 的 选择 


市 场 上 的 测试 工具 非常 多 ,没有 哪个 工具 在 所 有 环境 下 都 是 最 优 的 ,所 有 工具 在 不 同 的 
环境 下 都 有 它们 各 自 的 优点 和 缺点 。 到 底 哪 种 工具 最 佳 ,这 依赖 于 系统 工程 环境 以 及 企业 
特定 的 其 他 需求 和 标准 。 因 此 ,为 了 更 符合 企业 的 需要 和 系统 工程 环境 的 需要 ,测试 人 员 在 
选择 自动 化 测试 工具 时 ,需要 从 以 下 方面 来 考虑 : 

(1) 确定 需要 的 测试 生命 周期 工具 类 型 。 如 果 计 划 在 整个 企业 范围 内 实现 自动 化 , 则 


第 5 章 软件 自动 化 测试 


需要 倾听 所 有 涉 众 的 意见 ,确定 工具 能 够 和 尽 可 能 多 的 操作 系统 、 编 程 语 言 和 企业 其 他 方面 
的 技术 环境 兼容 。 

(2) 确定 各 种 系统 构架 。 选 择 工具 时 ,必须 确定 应 用 程序 在 技术 上 的 构架 ,其 中 包括 整 
个 企业 或 一 个 特殊 项 目 应 用 最 普遍 的 中 间 件 .数据库 、 操 作 系统 .开发 语言 使 用 的 第 三 方 插 
件 等 。 

(3) 了 解 被 测试 应 用 程序 管理 数据 的 方式 。 选 择 测试 工具 时 ,必须 了 解 被 测试 应 用 程 
序 管理 数据 的 方式 ,并 且 确 定 自动 测试 工具 如 何 支持 对 数据 的 验证 。 

(4) 了 解 测试 类 型 。 选 择 测试 工具 时 ,必须 了 解 想 让 工具 提供 的 测试 类 型 ,例如 用 于 回 
归 测 试 ,强度 测 试 或 者 容量 测试 。 

CO 了 解 进度 。 选 择 测试 工具 时 ,需要 关注 它 能 否 满足 或 者 影响 测试 进度 。 在 时 间 表 
的 限制 内 ,评审 测试 人 员 是 否 有 足够 的 时 间 学 习 这 种 工具 是 非常 重要 的 。 

(6) 了 解 预算 。 考 虑 可 以 支配 的 预算 。 


5.3.5 自动 化 测试 工具 的 分 类 


实际 运用 中 ,测试 工具 可 以 从 两 个 不 同 的 方面 去 分 类 : 

t 根据 测试 方法 不 同 , 自 动 化 测试 工具 可 以 分 为 : 白 盒 测试 工具 和 黑 盒 测 试 工具 。 

* 根据 测试 的 对 象 和 目的 ,自动 化 测试 工具 可 以 分 为 : 单元 测试 工具 、 功 能 测试 工具 、 
负载 测试 工具 ,性 能 测试 工具 .Web 测试 工具 、 数 据 库 测试 工具 、 回 归 测 试 工具 、 赔 
入 式 测试 工具 、 页 面 链 接 测 试 工具 、 测 试 设计 与 开发 工具 、 测 试 执行 和 评估 工具 和 测 
试管 理工 具 等 。 

根据 以 上 的 分 类 ,下 面 就 来 具体 地 介绍 这 些 测 试 工具 。 


1. 白 盒 测试 工具 


白 盒 测试 工具 一 般 是 针对 被 测 源 程序 进行 测试 ,测试 所 发 现 的 故障 可 以 定位 到 代码 级 。 
根据 测试 工具 工作 原理 的 不 同 , 白 盒 测试 的 自动 化 工具 可 分 为 静态 测试 工具 和 动态 测试 工具 。 

静态 测试 工具 是 在 不 执行 程序 的 情况 下 ,分 析 软 件 的 特性 。 静 态 分 析 主 要 集中 在 需求 
文档 设计 文档 以 及 程序 结构 方面 。 按 照 完 成 的 职能 不 同 ,静态 测试 工具 包括 以 下 几 种 类 
型 : 代码 审查 ; @ 一 致 性 检查 ; @ 错 误 检查 ; 四 接口 分 析 ; @ 输 入 输出 规格 说 明 分 析 检 
查 ; @ 数 据 流 分 析 ; 类 型 分 析 ; @ 单 元 分 析 ; @ 复 杂 度 分 析 。 

动态 测试 工具 是 直接 执行 被 测 程序 以 提供 测试 活动 。 它 需要 实际 运行 被 测 系 统 , 并 设 
置 断 点 ,向 代码 生成 的 可 执行 文件 中 插入 一 些 监测 代码 ,掌握 断 点 这 一 时 刻 的 程序 运行 数据 
(对 象 属性 、 变 量 的 值 等 ), 具 有 功能 确认 、 接 口 测试 覆盖 率 分 析 和 性 能 分 析 等 性 能 。 动 态 测 
试 工具 可 以 分 为 以 下 几 种 类 型 : 四 功能 确认 与 接口 测试 ; 覆盖 测试 ; @ 性 能 测试 ; OA 
存 分 析 。 

常用 的 动态 工具 有 : 

CD Jtest: 是 一 个 代码 分 析 和 动态 类 、 组 件 测试 工具 ,是 一 个 集成 的 ,易于 使 用 和 自动 
化 的 Java 单元 测试 工具 。 

(2) Jcontract: 在 系统 级 验证 类 /部 件 是 否 正确 工作 并 被 正确 使 用 。 它 是 个 独立 工具 ， 
在 功能 上 是 Jtest 的 补充 。 
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(3) C++Test: C++Test 可 以 帮助 开发 人 员 防 止 软件 错误 ,保证 代码 的 健全 性 、 可 靠 性 、 
可 维护 性 和 可 移植 性 。C++Test 自动 测试 C 和 C++ 类 、 函 数 或 组 件 ,而 无 须 编写 单个 测试 实 
例 、 测 试 驱动 程序 或 桩 调用 。 

(4) CodeWizard: 先进 的 C/C++ 源 代码 静态 分 析 工具 ,使 用 超过 500 个 编码 规范 自动 
化 地 标明 危险 。 

(5) Insuret+ : 一 个 基于 C/C++ 的 自动 化 内 存 错误 、 内 存 泄漏 检测 工具 。 

(6) .test: 是 专 为 . NET 开发 而 推出 的 自动 化 单元 级 测试 与 静态 分 析 工 具 。 

(7) BoundsChecker: BoundsChecker Visual C Edition 是 针对 Visual C++ 的 错误 检 
测 和 调试 工具 。 

(8) TrueTime: TrueTime 能 监控 程序 运行 过 程 ,能 提供 详细 的 应 用 程序 和 组 件 性 能 的 
分 析 , 并 自动 定位 到 运行 缓慢 的 代码 。 

(9) FailSafe; 是 VB 语言 环境 下 的 自动 错误 处 理 和 恢复 工具 。 

(10) JcheckJcheck : 是 DevPartner Studio 开发 调试 工具 的 一 个 组 件 , 可 以 收集 Java 
程序 运行 中 准确 的 实时 信息 。 

(11) TrueCoverage: 是 一 个 代码 覆盖 率 统 计 工 具 。 它 支持 Ct+ JAVA 和 Visual Basic 
语言 环境 。 

(12) SmartCheck; 是 针对 VB 的 自动 错误 检测 和 调试 工具 。 

(13) Xunit 系列 开源 框架 : 这 是 目前 最 流行 的 单元 测试 开源 框架 ,根据 支持 的 语言 环 
境 不 同 ,可 分 为 JUnit(Java) , CppUnit C4) , Dunit Delphi) , PhpUnit (PHP) , Aunit Ada) 
fll NUnit(, NET). 


2. 功能 测试 工具 


常用 的 功能 测试 工具 有 : 

(1) WinRunner: 企业 级 的 功能 测试 工具 ,用 于 检测 应 用 程序 是 否 能 够 达到 预期 的 功能 
及 正常 运行 ,自动 执行 重复 任务 并 优化 测试 工作 。 

(2) QARun: 自动 回归 测试 工具 ,在 . NET 环境 下 运行 , 它 还 提供 与 TestTrack Pro 的 
集成 。 

(3) Rational Robot; Rational TestSuite 中 的 一 员 , 对 于 Visual Studio 6 编写 的 程序 提 
供 非常 好 的 支持 ,同时 还 提供 Java Applet, HTML Oracle Forms, People Tools 应 用 程序 的 
支持 。 

(4) Functional Tester: Robot 的 Java 实现 版 本 ,是 在 Rational 被 IBM 收购 后 发 布 的 。 

(5) QuickTest Pro: Mercury 公司 出 品 的 B/S 系统 的 功能 测试 工具 。 


3. 性 能 测试 工具 


常用 性 能 测试 工具 有 : 

(1) LoadRunner: 预测 系统 行为 和 性 能 的 负载 测试 工具 。 

(2) QALoad: Compuware 公司 性 能 测试 工具 套件 中 的 压力 负载 工具 ,QALoad 是 客 
户 / 服 务 器 系统 ,企业 资源 配置 (ERP) 和 电子 商务 应 用 的 自动 化 负载 测试 工具 。 

(3) Benchmark Factory: 是 一 种 高 扩展 性 的 强化 测试 、 容 量规 划 和 性 能 优化 工具 ,可 以 
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模拟 数 千 个 用 户 访问 应 用 系统 中 的 数据 库 、 文 件 、Internet 及 消息 服务 器 ,从 而 更 加 方便 地 
确定 系统 容量 , 找 出 系统 瓶颈 ,隔离 出 用 户 的 分 布 式 计算 环境 中 与 系统 强度 有 关 的 问题 。 无 
论 是 服务 器 ,还 是 服务 器 集群 ,Benchmark Factory 都 是 一 种 成 熟 、. 可 靠 .高 扩展 性 和 易于 使 
用 的 测试 工具 。 

(4) SilkPerformance: 是 业界 最 先进 的 企业 级 负载 测试 工具 。 它 能 够 模拟 成 千 上 万 的 
用 户 在 多 协议 和 多 种 计算 环境 下 的 工作 。SilkPerformance 可 以 让 你 在 使 用 前 ,就 能 够 预测 
企业 电子 商务 环境 的 行为 一 一 不 受 电子 商务 应 用 规模 和 复杂 性 影响 。 

(5) JMeter: 是 一 个 专门 为 运行 和 服务 器 负载 测试 而 设计 、100% 的 纯 Java 桌面 运行 
程序 。 

(6) WAS; 是 Microsoft 提供 的 免费 的 Web 负载 压力 测试 工具 ,应 用 广泛 。 

(7) OpenSTA: 全 称 是 Open System Testing Architecture, OpenSTA 的 特点 是 可 以 
模拟 很 多 用 户 来 访问 需要 测试 的 网 站 , 它 是 一 个 功能 强大 、 自 定义 设置 功能 完备 的 软件 。 

(8) PureLoad: 一 个 完全 基于 Java 的 测试 工具 , 它 的 Script 代码 完全 使 用 XML。 


4. 测试 管理 工具 


常用 的 测试 管理 工具 有 : 

(1) TestDirector: 是 全 球 最 大 的 软件 测试 工具 提供 商 Mercury Interactive 公司 生产 的 
企业 级 测试 管理 工具 ,也 是 业界 第 一 个 基于 Web 的 测试 管理 系统 , 它 可 以 在 公司 内 部 或 外 
部 进行 全 球 范围 内 的 测试 管理 。 通 过 在 一 个 整体 的 应 用 系统 中 集成 了 测试 管理 的 各 个 部 
分 ,包括 需求 管理 .测试 计划 ,测试 执行 以 及 错误 跟踪 等 功能 , TestDirector 极 大 地 加 速 了 测 
试 过 程 。 

(2) TestManager: 是 针对 测试 活动 管理 ,执行 和 报告 的 中 央 控 制 台 。 它 是 为 可 扩展 性 
而 构建 的 ,支持 的 范围 从 纯 人 工 测试 方法 到 各 种 自动 化 范 型 (包括 单元 测试 、 功 能 回归 测试 
和 性 能 测试 ) 。 

(3) QADirector: 协助 我 们 管理 应 用 系统 的 测试 ,确保 软件 的 服务 质量 。QADirector 
分 布 式 的 测试 能 力 和 多 平台 的 支持 ,能 够 使 开发 和 测试 团队 ,从 一 个 单 点 控制 跨 平台 环境 的 
测试 。 让 开发 人 员 ,测试 人 员 和 QA 管理 人 员 共 享 测试 资源 ,测试 结果 与 历史 记录 。 

(4) TestLink: 是 sourceforge 的 开放 源 代码 项 目 之 一 ,作为 基于 Web 的 测试 用 例 管理 
系统 , 它 的 主要 功能 是 测试 用 例 的 创建 ,管理 和 执行 ,并 且 还 提供 了 一 些 简 单 的 统计 功能 。 

(5) Bugzilla: 是 一 个 开源 的 缺陷 跟踪 系统 (Bug-Tracking System) , 它 可 以 管理 软件 开 
发 中 缺陷 的 提交 (New) ME (Resolve) .关闭 (Close) 等 整个 生命 周期 。 

(6) JIRA: 是 集 项 目 计划 、 任 务 分 配 、 需 求 管理 .错误 跟踪 于 一 体 的 商业 软件 。JIRA 基 
于 Java 架构 ,由 于 Atlassian 公司 对 很 多 开源 项 目 实行 免费 提供 缺陷 跟踪 服务 ,因此 在 开源 
领域 ,其 认 知 度 比 其 他 产品 要 高 得 多 ,而且 易 用 性 也 好 一 些 。 

(7) Mantis; 一 个 基于 PHP 技术 的 轻 量 级 的 缺陷 跟踪 系统 ,其 功能 与 前 面 提 及 的 JIRA 
系统 类 似 , 都 是 以 Web 操作 的 形式 提供 项 目 管理 及 缺陷 跟踪 服务 。 在 功能 上 可 能 没有 
JIRA 那么 专业 ,但 在 实用 性 上 足以 满足 中 小 型 项 目的 管理 及 跟踪 。 更 重要 的 是 其 开源 ,不 
需要 负担 任何 费用 。 
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5.3.6 自动 化 测试 工具 的 局 限 性 


相当 长 一 段 时间 内 ,软件 测试 一 直 都 是 由 人 工 操作 , 即 手工 地 按照 预先 定义 的 步骤 运行 
应 用 程序 。 自 从 软件 产业 开始 以 来 ,软件 组 织 对 自动 化 软件 测试 过 程 做 出 了 很 大 的 努力 。 
许多 公司 已 经 成 功 地 开发 出 了 一 些 软 件 测试 工具 ,这 些 工 具 在 产品 发 布 之 前 就 能 发 现 并 确 
定 Bug。 现 在 市 场 上 有 非常 多 的 自动 化 测试 工具 ,上 一 节 中 仅 列 出 了 它们 其 中 的 一 部 分 。 
这 些 测试 工具 有 很 多 已 经 涵盖 了 软件 测试 生命 周期 的 各 个 阶段 。 

然而 ,它们 对 生成 或 编写 测试 脚本 却 有 着 相似 的 被 动 架构 , 即 遵 循 手工 指定 待 测试 产 
品 , 指 定 待 测试 方法 ,编辑 和 调试 生成 测试 脚本 的 模式 。 这 些 测试 脚本 通常 是 由 三 种 方式 编 
写 , 即 由 测试 工程 师 手 工 编写 ,由 测试 工具 使 用 反 向 工程 生成 和 由 捕获 /回放 工具 生成 。 无 
论 由 哪 一 种 方式 编写 测试 脚本 ,调试 都 是 一 个 可 能 伴随 的 步 又。 比较 前 一 节 中 的 测试 工具 
之 后 ,将 会 发 现 这 些 测试 工具 要 求 专用 化 并 包含 不 一 致 性 ,简单 有 效 的 标准 化 的 测试 技术 还 
相当 缺乏 。 另 外 ,这 些 测试 工具 的 开发 通常 都 落后 于 新 开发 技术 的 发 展 与 应 用 。 所 有 的 测 
试 工具 的 新 产品 的 快速 上 市 ,新 技术 的 进步 ,新 设计 过 程 的 采用 ,和 第 三 方 组 件 的 完美 整合 
都 存在 一 定 的 风险 。 当 前 的 软件 测试 工具 基本 上 都 存在 一 定 的 不 足 ， 

* 缺乏 引导 彻底 测试 能 力 。 

* 缺乏 集成 测试 和 互 操作 性 测试 的 能 力 。 

。 缺乏 自动 生成 测试 脚本 的 机 制 。 

。 缺 乏 决 定 何 时 产品 足够 完善 可 予以 发 布 的 严格 测试 。 

。 缺 乏 简单 有 效 的 性 能 衡量 标准 和 测试 测量 规程 。 


6.4 小 结 


本 章 介绍 了 自动 化 测试 的 优 缺 点 .引入 原则 、 实 施 、 方 法 等 , 弄 清 楚 了 什么 是 自动 化 测 
试 ,为 什么 要 进行 自动 化 测试 ,怎样 实施 自动 化 测试 ,用 什么 工具 进行 自动 化 测试 等 问题 ,最 
后 点 出 自动 化 工具 并 不 是 万 能 的 ,自动 化 测试 要 与 手工 测试 相配 合 才能 达到 较 好 的 测试 
效果 。 

本 章 中 概要 性 地 介绍 了 众多 自动 化 测试 工具 , 若 想 详 细 了 解 这 些 工 具 , 读 者 可 以 查阅 相 
应 测试 工具 提供 商 的 官方 网 站 及 其 他 资料 。 


习题 


.为 什么 自动 化 测试 是 必须 且 可 行 的 ? 

- 简 述 自动 化 测试 的 优 缺 点 。 

. 请 总 结 描述 软件 自动 化 测试 生命 周期 方法 学 的 意义 和 作用 。 

. 企业 引进 自动 化 测试 后 测试 工作 的 效率 一 定 会 提高 吗 ? 为 什么 ? 

. 试 描述 你 所 了 解 到 的 自动 化 测试 工具 ,并 指出 这 些 工具 的 功能 和 应 用 范围 。 
.请 在 互联 网 中 查阅 开源 自动 化 工具 的 资料 ,并 总 结 它们 的 基本 信息 。 
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软件 测试 管理 是 软件 项 目 管理 的 一 个 子 集 或 分 支 ,与 传统 的 软件 项 目 管 理 在 核心 上 没 
有 本 质 的 区 别 , 但 由 于 管理 对 象 的 特殊 性 ,软件 测试 管理 在 具体 执行 中 有 自己 的 特点 。 

本 章 首先 介绍 了 软件 测试 管理 的 必要 性 以 及 测试 管理 的 内 容 和 要 素 ,然后 从 计划 管理 、 
缺陷 管理 ,文档 管理 ,过 程 管理 ,组 织 管理 ,配置 管理 等 方面 详细 介绍 了 软件 测试 管理 的 各 项 
内 容 。 最 后 讲解 了 测试 管理 工具 TestDirector 的 使 用 方法 以 及 如 何 使 用 TestDirector 来 管 
理 自动 化 测试 项 目 。 

本 章 要 点 : 

。 软件 测试 管理 的 必要 性 和 内 容 。 
测试 计划 的 作用 和 内 容 。 
缺陷 的 分 类 和 处 理 流程 。 
测试 文档 规范 。 
测试 过 程 管理 的 内 容 。 
测试 组 织 和 测试 团队 的 管理 。 
软件 配置 管理 的 关键 活动 。 

TestDirector 的 配置 和 管理 过 程 。 
。 使 用 TestDirector 管理 测试 项 目的 方法 。 


(6.1 软件 测试 管理 概述 
eos? 


软件 项 目 管理 是 为 了 使 软件 项 目 能 够 按照 预定 的 成 本 进度、 质量 顺利 完成 ,而 对 人 员 
(People) ,产品 (Product) ,过程 (Process) 和 项 目 (Project) 进 行 分 析 和 管理 的 活动 。 

软件 项 目 管理 的 根本 目的 是 为 了 让 软件 项 目 尤其 是 大 型 项 目的 整个 软件 生命 周期 (从 
分 析 、 设 计 、 编 码 到 测试 .维护 全 过 程 ) 都 能 在 管理 者 的 控制 之 下 ,以 预定 成 本 按期 、. 按 质地 完 
成 软件 ,交付 用 户 使 用 。 而 研究 软件 项 目 管理 为 了 从 已 有 的 成 功 或 失败 的 案例 中 总 结 出 能 
够 指导 今后 开发 的 通用 原则 方法 ,同时 避免 前 人 的 失误 。 

软件 测试 管理 是 软件 项 目 管理 的 一 个 子 集 或 分 支 ,与 传统 的 软件 项 目 管理 在 核心 上 没 
有 本 质 的 区 别 , 但 由 于 管理 对 象 的 特殊 性 ,软件 测试 管理 在 具体 执行 中 有 自己 的 特点 。 


6.1.1 软件 测试 管理 的 引入 
为 什么 要 进行 测试 管理 ? 原因 有 以 下 4 点: 
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CD 软件 测试 的 工作 量 要 占 整 个 软件 开发 工作 量 的 40% 以 上 ,对 于 高 可 靠 、 高 安全 的 软 
件 来 说 ,这 一 比例 可 能 会 达到 6026 ~~70%。 因 此 ,软件 测试 是 软件 开发 过 程 中 的 一 项 重要 
工作 ,必须 对 其 进行 科学 有 效 的 管理 。 

(2) 一 项 软件 测试 工作 涉及 技术 计划、 质量. 工具 .人 员 等 各 个 方面 ,是 一 项 复杂 的 工 
作 , 因 此 需要 对 其 进行 管理 。 

(3) 任何 软件 测试 工作 都 是 在 一 定 的 约 东 条 件 下 进行 的 ,要 做 到 完全 彻底 的 测试 是 不 
可 能 的 。 

(4) 只 有 系统 化 ,规范 化 的 软件 测试 才能 有 效 地 发 现 软 件 缺 陷 , 才 能 对 发 现 的 软件 缺陷 
实施 有 效 的 追踪 和 管理 ,才能 在 软件 缺陷 修改 后 进行 有 效 的 回归 测试 。 


6.1.2 软件 测试 管理 的 要 素 


高 效 的 软件 测试 管理 是 一 个 项 目 成 功 必 不 可 少 的 因素 。 测 试 是 以 技术 为 导向 的 专业 工 
作 , 但 是 因为 其 在 软件 开发 过 程 中 的 特殊 位 置 ,所 以 工作 过 程 中 需要 有 效 的 沟通 ,协调 来 作 
为 保障 。 我 们 通常 把 这 些 沟 通 、 协 调和 计划 工作 统一 称 为 软件 测试 管理 。 软 件 测试 管理 中 
的 基本 要 素 有 4 个 ,分 别 是 : 计划 ,沟通 .执行 和 版 本 控制 。 


1. 符合 软件 开发 计划 时 间 框 架 的 软件 测试 计划 


软件 测试 计划 的 目的 是 用 来 识别 任务 ,分 析 风 险 , 规 划 资 源 和 确定 进度 。 从 计划 的 定义 
上 来 看 ,计划 并 不 是 一 张 时 间 进 度 表 , 而 是 一 个 动态 的 过 程 ,最 终 以 系列 文档 的 形式 确定 下 
来 。 拟 定 软件 测试 计划 需要 测试 项 目 管理 人 员 的 积极 参与 ,软件 测试 作为 阶段 工作 必须 服 
从 主 软 件 项 目 计划 在 时 间 和 资源 上 的 约定 。 

完整 的 测试 计划 应 该 包含 对 测试 范围 的 界定 .风险 的 确定 、 资 源 的 规划 和 时 间 表 的 
制订 。 


2. 沟通 


沟通 是 测试 管理 人 员 必 有 需 的 技能 。 测 试管 理 者 需要 将 测试 发 现 的 问题 及 时 地 反馈 给 开 
AAA ,同时 也 要 积极 地 去 了 解 外 界 产生 的 变更 。 项 目 中 存在 变化 是 普遍 现 象 ,而 作为 管理 
者 就 是 要 去 管理 这 里 变化 ,及 时 地 修订 计划 。 严 格 地 说 ,如 果 没 有 这 些 变化 ,作为 测试 管理 
者 的 你 就 没有 多 少 存在 的 价值 。 有 些 人 认为 一 旦 有 了 计划 之 后 ,只 要 按照 要 求 去 执行 就 可 
以 ,但 是 项 目 本 身 是 一 个 动态 的 过 程 , 计 划 是 项 目 在 某 一 个 时 刻 ,时 段 的 静态 体现 ,所 以 要 按 
照发 展 的 眼光 来 对 待 计划 。 沟 通 是 了 解 外 界 变 化 的 积极 手段 ,对 测试 管理 者 而 言 ,计划 沟通 
能 力 比 测试 技能 更 重要 。 


3. 执行 


软件 测试 也 存在 一 个 执行 能 力 的 问题 ,有 人 会 说 我 把 要 求 的 事情 按照 要 求 做 完了 不 就 
可 以 了 吗 ? 的 确 ,按照 期 望 去 执行 任务 是 正确 的 。 但 是 这 里 有 一 个 问题 就 是 如 何 保证 执行 
者 对 期 望 的 理解 同 要 求 者 的 期 望 是 完全 一 致 的 呢 ? 所 以 执行 的 背后 还 是 一 个 沟通 的 问题 ， 
这 里 的 沟通 是 测试 管理 者 和 执行 者 之 间 的 沟通 。 所 以 作为 一 名 测试 管理 人 员 一 定 要 在 测试 
工程 师 开 始 工作 之 前 明确 任务 的 意图 、 前 提 和 结果 。 
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4. 版 本 控制 


版 本 控制 ,简单 地 说 就 是 测试 版 本 有 明确 的 标识 或 说 明 ,并且 测 试 版 本 的 交付 是 在 项 目 
管理 人 员 的 控制 之 下 的 。 测 试 版 本 说 明 是 开发 人 员 和 测试 人 员 之 间 交 流 的 有 效 形式 ,测试 
人 员 可 以 从 中 看 清 当 前 测试 版 本 相对 于 上 一 版 本 的 变化 ,有 利于 测试 人 员 更 加 高 效 ,有 针对 
性 地 执行 测试 。 

另外 ,测试 版 本 的 控制 还 有 助 于 保证 进度 和 测试 的 效率 。 

成 功 地 完成 一 个 软件 测试 项 目 还 有 其 他 很 多 重要 的 因素 ,例如 测试 人 员 的 个 人 能 力 , 管 
理 者 的 综合 素质 ,公司 的 开发 过 程 等 ,这 里 就 不 再 袭 述 了 。 


6.1.3 软件 测试 管理 的 内 容 
1. 测试 计划 的 管理 


测试 计划 的 管理 内 容 主 要 有 : 测试 评估 ,确定 切实 可 行 的 测试 目标 ,制订 合理 的 测试 计 
划 , 控 制 测试 计划 的 执行 。 

测试 并 非 随机 活动 ,测试 必须 被 计划 ,并 且 被 安排 足够 的 时 间 和 资源 。 测 试 活动 应 当 受 
到 控制 ,测试 的 中 间 产 物 应 被 评审 并 纳入 配置 管理 。 

测试 计划 是 关键 的 管理 功能 , 它 定义 各 个 级 别 的 测试 所 使 用 的 策略 方法 ,测试 环境 、 测 
试 通过 或 失败 准则 等 。 测 试 计划 的 目的 是 要 为 有 组 织 地 完成 测试 提供 基础 。 从 管理 角度 
看 ,测试 计划 是 最 重要 的 文档 ,这 是 因为 它 帮助 管理 测试 项 目 。 测 试 计划 不 一 定 要 尽 善 尽 
美 ,但 一 定 要 切合 实际 ,要 根据 项 目 特点 、 公 司 实际 情况 来 编制 ,不 能 脱离 实际 情况 ; 测试 计 
划一 旦 制订 下 来 ,并 不 是 一 成 不 变 的 ,世界 万 事 万 物 时 时 刻 刻 都 在 变化 ,软件 需求 .软件 开 
发 .人 员 流 动 等 都 在 时 刻 发 生 着 变化 ,测试 计划 也 要 根据 实际 情况 的 变化 而 不 断 进 行 调整 ， 
以 满足 实际 测试 要 求 ; 测试 计划 要 能 从 宏观 上 反映 项 目的 测试 任务 .测试 阶段 .资源 需求 
等 ,不 一 定 要 太 过 详细 。 

一 个 好 的 测试 计划 包括 产品 基本 情况 ,测试 需求 说 明 ,测试 策略 和 记录 测试 资源 配置 、 
计划 表 、 问 题 跟踪 报告 测试 计划 的 评审 和 结果 等 。 


2. 测试 件 管理 


主要 内 容 是 : 检查 和 评审 测试 工作 产品 ,测试 和 分 析 测 试 对 象 一 一 软件 产品 ,收集 质量 
分 析 和 产品 放行 决策 所 需要 的 数据 ,测试 配置 管理 。 

测试 过 程 中 会 产生 很 多 中 间 产 品 和 文档 ,它们 统称 为 测试 件 。 测 试 件 泛 指 一 切 手工 测 
试 和 自动 测试 活动 中 必须 受 控 或 值得 纳入 测试 团队 知识 库 的 所 有 输入 和 输出 数据 (包含 团 
队 自主 开发 的 测试 自动 化 工具 )。 表 6-1 是 测试 件 的 内 容 。 

如 何 有 效 地 管理 好 测试 件 ,是 影响 测试 团队 效率 与 整体 水 平 的 重要 因素 之 一 。 在 待 测 
项 目 规模 小 、 功 能 点 少 的 情况 下 ,测试 工作 或 许 能 正常 进行 ,但 如 果 测 试 团队 要 同时 测试 多 
个 项 目 , 各 项 目 规模 都 相对 较 大 ,涉及 的 测试 人 员 较 多 ,在 此 情况 下 ,测试 工作 的 效率 可 能 会 
大 为 降低 。 比 如 ,测试 人 员 在 进行 自动 化 测试 时 ,发 现 测试 脚本 、 测 试 数据 与 待 测 程序 的 版 
本 有 时 根本 不 匹配 ,或 者 发 现 很 多 缺陷 报告 实际 上 是 重复 的 ,等 等 。 这 些 典 型 的 低 效率 事件 
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表 6-1 测试 件 内 容 
测 试 件 
测试 输出 

NENA 测试 记录 WRAAE 
测试 大 纲 测试 计划 测试 结果 测试 分 析 数据 
测试 用 例 “测试 脚本 mm 测试 评估 数据 
方案 策略 ”规范 文档 测试 工作 日 志 项 目 经 验 与 教训 
测试 工具 


多 半 是 由 测试 件 管理 工作 的 低 效 引起 的 。 除 此 之 外 ,测试 件 管理 对 于 团队 的 整体 水 平 提高 
亦 具有 不 可 估量 的 长 远 意义 。 如 果 某 个 测试 团队 完成 一 个 项 目的 测试 工作 后 不 做 分 析 、 总 
结 ,不 将 有 代表 的 测试 用 例 ,测试 方案 等 积累 起 来 ,那么 这 个 团队 可 能 会 长 时 间 在 一 个 较 低 
的 水 平 上 徘徊 ,无 法 将 类 似 项 目的 测试 件 迁移 到 当前 项 目 中 来 ,测试 团队 的 新 成 员 也 无 法 通 
过 测试 件 管理 库 获取 前 人 已 有 的 知识 积累 。 

在 表 6-1 提 到 的 测试 件 中 ,已 经 较 好 地 实现 了 自动 化 管理 的 有 : 测试 用 例 自动 化 管理 、 
测试 缺陷 (报告 ) 跟 踪 管 理 。 除 此 之 外 的 测试 件 目 前 尚未 发 现 有 对 应 的 专用 管理 工具 ,建议 
采用 配置 管理 工具 (如 CVS) 来 完成 对 它们 的 自动 化 管理 。 

测试 件 管理 工作 的 另 一 个 更 为 重要 的 价值 就 在 于 测试 件 可 以 被 复 用 ,测试 件 蕴含 的 经 
验 和 知识 可 以 被 后 来 者 获取 并 迁移 到 当前 项 目 中 。 测 试 团队 的 整体 水 平 的 提高 很 大 程度 上 
在 于 团队 内 部 知识 传递 的 充分 有 效 。 由 于 测试 件 管理 库 记 载 了 各 个 项 目 采用 的 测试 技术 以 
及 获得 的 经 验 教训 ,这 对 于 团队 中 的 新 手 而 言 ,是 很 宝贵 的 资源 ,即便 是 对 于 从 业 多 年 的 老 
手 来 说 ,也 应 该 多 多 参考 这 个 知识 库 , 因 为 测试 件 的 复 用 能 有 效 规避 重复 劳动 。 另 外 ,建议 
测试 团队 负责 人 通过 多 种 方式 ,让 团队 成 员 多 多 了 解 . 学 习 和 利用 测试 件 库 ,鼓励 团队 成 员 
对 测试 件 提出 改进 意见 。 


3. 测试 过 程 的 管理 


测试 过 程 管理 的 主要 内 容 是 : 定义 和 定制 所 需要 的 测试 过 程 ,满足 测试 过 程 所 需要 的 
资源 和 条 件 ,实施 确定 的 测试 过 程 , 测 量 和 分 析 测 试 过程 的 有 效 性 和 效率 ,进行 基于 度量 的 
测试 过 程 的 持续 改进 。 

测试 过 程 的 三 个 主要 测试 活动 (计划 、 准 备 、 实 施 ) 可 被 分 成 5 个 阶段 : 计划 和 控制 阶 
Br .准备 阶段 .规范 阶段 .实施 执行 阶段 和 完成 阶段 。 

测试 过 程 管理 主要 有 5 个 环节 : 测试 需求 管理 ,测试 计划 管理 ,测试 执行 管理 ,缺陷 管 
理 和 测试 总 结 报告 。 

通常 ,测试 流程 管理 会 运用 测试 管理 工具 ,以 提高 管理 效率 和 准确 性 ,本 章 的 后 续 章 节 
将 通过 TestDirector 来 讲解 测试 管理 的 实际 运用 。 


4. 测试 人 员 及 组 织 的 管理 


主要 工作 有 : 选择 合适 的 测试 人 员 ,使 测试 人 员 能 够 按 测试 计划 完成 测试 任务 ,与 有 关 
人 员 进 行 沟通 ,协同 工作 ,建立 有 效 的 软件 测试 团队 。 
为 高 效 地 检测 出 软件 中 存在 的 故障 ,提高 软件 质量 ,开发 出 高 质量 软件 产品 ,加 强 对 测 
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试 工作 的 组 织 和 管理 就 必 不 可 少 。 采 用 系统 的 方法 建立 起 软件 测试 管理 体系 ,也 就 是 要 把 
测试 工作 作为 一 个 系统 ,对 组 成 这 个 系统 的 各 个 过 程 进行 监督 和 控制 ,通过 管理 使 之 协同 作 
用 、 互 相 促进 ,以 实现 特定 目标 。 


6.2 软件 测试 计划 的 管理 


6.2.1 测试 计划 的 编制 
1. 测试 计划 的 重要 性 


软件 测试 计划 作为 软件 项 目 计划 的 子 计划 ,在 项 目 启动 初期 是 必须 规划 的 ,一般 在 软件 
需求 整理 完成 ,和 开发 计划 一 起 制订 。 在 越 来 越 多 的 软件 开发 实践 中 ,软件 质量 日 益 受 到 重 
视 , 测 试 过 程 也 从 一 个 相对 独立 的 步骤 越 来 越 紧 密 嵌 套 在 软件 整个 生命 周期 中 。 如 何 规划 
整个 项 目 周期 的 测试 工作 ; 如 何 将 测试 工作 上 升 到 测试 管理 的 高 度 都 依赖 于 测试 计划 的 制 
订 , 因 此 测试 计划 成 了 测试 工作 赖 于 展开 的 基础 。 

测试 计划 描述 了 如 何 进 行 测试 ,有 效 的 测试 计划 会 驱动 测试 工作 的 完成 ,使 测试 执行 、 
测试 分 析 以 及 测试 报告 的 工作 开展 更 加 顺利 。 

测试 计划 是 在 软件 测试 中 最 重要 的 步骤 之 一 , 它 在 软件 开发 的 前 期 对 软件 测试 做 出 清 
晰 ,完整 的 计划 ,不 光 对 整个 测试 起 到 关键 性 的 作用 ,而 且 对 开发 人 员 的 开发 工作 ,整个 项 目 
的 规划 ,项 目 经 理 的 审查 都 有 辅助 性 的 作用 。 

一 个 好 的 测试 计划 可 以 起 到 如 下 作用 : 

CD 避免 测试 的 “事件 驱动 ”。 

(2) 使 测试 工作 和 整个 开发 工作 融合 起 来 。 

(3) 使 资源 和 变更 事先 作为 一 个 可 控制 的 风险 。 


2. 测试 计划 的 目的 


测试 计划 描述 所 要 完成 的 测试 包括 测试 背景 测试 目的 、 风 险 分 析 、 所 需 资源 、 任 务 安排 
和 进度 等 。 

CD 将 需求 和 总 体 设计 分 解 成 可 测试 ,应 该 测试 ,推迟 测试 和 无 法 测试 的 范围 。 

(2) 对 每 个 范围 制订 测试 的 策略 和 方法 。 

(3) 制订 Release 和 停止 测试 的 标准 。 

(4) 准备 测试 所 需要 的 环境 。 

(5) 确定 测试 风险 。 

(6) 确定 软件 测试 目标 。 

(7) 确定 测试 所 需要 的 资源 和 其 他 相关 信息 。 

(8) 制订 测试 进度 和 任务 安排 。 


3. 测试 计划 编写 的 6 个 要 素 
(1) Why: 为 什么 测试 ? 明确 测试 的 目的 。 
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(2) What: 测试 什么 ? 明确 测试 的 范围 和 内 容 。 

(3) When; 何 时 测试 ? 明确 测试 的 开始 和 结束 日 期 。 

(4) Where; 测试 资料 在 哪儿 ? 明确 测试 文档 和 软件 缺陷 的 存放 位 置 。 
(5) Who; 谁 来 测试 ?明确 测试 人 员 的 任务 分 配 。 

(6) How: 怎么 测试 ? 明确 指出 测试 的 方法 和 测试 工具 。 


4. 测试 计划 的 主要 内 容 


测试 计划 的 内 容 会 因 不 同 的 项 目 以 及 项 目的 大 小 而 有 所 不 同 , 一 般 而 言 在 测试 计划 中 
应 该 清晰 描述 以 下 内 容 : 

CD 测试 目标 : 对 测试 目标 进行 简要 的 描述 。 

(2) 测试 概要 : 摘要 说 明 所 需 测试 的 软件 ,名词 解释 以 及 提 及 所 参考 的 相关 文档 。 

(3) 测试 范围 : 测试 计划 所 包含 的 测试 软件 需 测 试 的 范围 和 优先 级 ,哪些 需要 重点 测 
试 .哪些 无 须 测试 或 无 法 测试 或 推迟 测试 。 

(4) 重点 事项 : 列 出 需要 测试 的 软件 的 所 有 的 主要 功能 和 测试 重点 ,这 部 分 应 该 能 和 
测试 案例 设计 相对 应 和 互相 检查 。 

(5) 质量 目标 : 制订 测试 软件 的 产品 质量 目标 和 软件 测试 目标 。 

(6) 资源 需求 : 进行 测试 所 需要 的 软 硬 件 ,测试 工具 、 必 要 的 技术 资源 、 培 训 、 文 档 等 。 

(7) 人 员 组 织 : 需要 多 少 人 进行 测试 ,各 自 的 角色 和 责任 ,他 们 是 否 需 要 进行 相关 的 学 
习 和 培训 ,什么 时 候 他 们 需要 开始 ,并 将 持续 多 长 时 间 。 

(8) 测试 策略 : 制订 测试 整体 策略 、 所 使 用 的 测试 技术 和 方法 。 

(9) 发 布 提交 : 在 按照 测试 计划 进行 测试 发 布 后 需要 交付 的 软件 产品 、 测 试 案例 ,测试 
数据 及 相关 文档 。 

(10) 测试 进度 和 任务 人 员 安排 : 将 测试 的 计划 合理 地 分 配 到 不 同 的 测试 人 员 ,并 注意 
先后 顺序 。 如 果 开 发 的 Release 不 确定 ,可 以 给 出 测试 的 时 间 段 。 对 于 长 期 大 型 的 测试 计 
划 , 可 以 使 用 里 程 碑 来 表示 进度 的 变化 。 

(OD 测试 开始 /完成 /延迟 /继续 的 标准 : 制订 测试 开始 和 完成 的 标准 ; 某 些 时 候 , 测 试 
计划 会 因 某 种 原因 (过 多 阻塞 性 的 Bug) 而 导致 延迟 ,问题 解决 后 测试 继续 。 

(12) 风险 分 析 : 需要 考虑 测试 计划 中 可 能 的 风险 和 解决 方法 。 


5. 编写 测试 计划 的 注意 事项 


CD 测试 计划 不 一 定 要 尽善尽美 ,但 一 定 要 切合 实际 ,要 根据 项 目 特点 公司 实际 情况 
来 编制 ,不 能 脱离 实际 情况 。 

(2) 测试 计划 一 旦 制订 下 来 ,并 不 就 是 一 成 不 变 的 ,世界 万 事 万 物 时 时 刻 刻 都 在 变化 ， 
软件 需求 .软件 开发 、 人 员 流 动 等 都 在 时 刻 发 生 着 变化 ,测试 计划 也 要 根据 实际 情况 的 变化 
而 不 断 进行 调整 ,以 满足 实际 测试 要 求 。 

(3) 测试 计划 要 能 从 宏观 上 反映 项 目的 测试 任务 、 测 试 阶 段 . 资 源 需求 等 ,不 一 定 要 太 
过 详细 。 
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6.2.2 测试 计划 的 控制 和 度量 
1. 测试 计划 执行 控制 


测试 计划 制订 完成 后 就 要 按照 计划 的 要 求 严格 执行 测试 任务 ,但 是 ,在 测试 过 程 中 ,经 
常会 出 现 测试 工作 不 能 按照 计划 的 要 求 来 进行 。 这 类 问题 有 两 个 来 源 : 测试 人 员 的 执行 力 
不 够 和 测试 计划 的 变更 。 

为 了 使 测试 人 员 能 较 好 地 执行 上 级 分 配 的 测试 任务 ,一般 在 制订 测试 计划 的 同时 ,还 应 
该 制订 一 个 计划 跟踪 表 或 做 一 个 进度 表 , 让 测试 员 明 白 这 个 阶段 的 工作 重点 是 什么 ,什么 时 
候 应 该 提交 什么 样 的 任务 报告 。 要 分 好 轻重 级 别 , 所 有 的 工作 任务 都 有 很 重要 很 紧急 ,很 重 
要 不 紧急 ,不 重要 很 紧急 ,不 重要 不 紧急 之 分 ,这 样 测试 员 在 工作 时 就 可 以 根据 进度 表 分 析 
实际 情况 ,按照 计划 制订 的 进度 合理 展开 工作 。 

在 工作 过 程 中 ,测试 员 一 定 要 了 解 没有 完成 任务 的 原因 ,由 此 合理 调派 工作 任务 ,制订 
监督 计划 。 

测试 计划 制订 完成 后 ,最 常见 的 问题 是 测试 计划 本 身 出 现 变 更 ,使 其 变更 的 原因 有 项 目 
需求 ,版 本 以 及 测试 资源 的 变更 等 。 有 的 变更 是 计划 内 的 ,例如 需求 .版 本 的 变更 ,有 的 变更 
是 计划 外 的 ,例如 硬件 设备 的 延期 到 货 等 。 这 些 变更 不 仅 会 影响 到 测试 过 程 的 正常 进行 ,而 
且 , 若 处 理 不 当 , 会 造成 极 大 的 人 力 、 物 力 和 时 间 浪 费 。 因 此 ,在 测试 计划 中 就 要 充分 考虑 对 
各 种 变更 的 控制 。 

测试 过 程 中 ,我 们 会 通过 如 下 手段 来 及 时 调整 更 新 测试 计划 : 
按照 确定 的 报告 周期 ,定期 收集 实际 的 进度 和 成 本 数据 ,提交 状态 报告 .周期 报告 。 
* 将 发 生 的 变更 (范围 .进度 .预算 ) 列 人 测试 计划 。 

。 与 计划 进行 比较 ,分 析 存 在 的 偏差 和 原因 。 
确定 需要 采取 的 纠正 措施 ,纳入 测试 计划 。 
更 新 测试 计划 (范围 .进度 、 预 算 )。 


2. 测试 计划 的 变更 


测试 计划 改变 了 已 往 根 据 任务 进行 测试 的 方式 ,为 使 测试 计划 得 到 贯彻 和 落实 ,测试 组 
人 员 必 须 及 时 跟踪 软件 开发 的 过 程 ,为 产品 提交 测试 做 准备 。 测 试 计划 的 目的 ,本 身 就 是 强 
调 按 规划 的 测试 战略 进行 测试 ,淘汰 以 往 以 任务 为 主 的 临时 性 。 在 这 种 情况 下 ,测试 计划 中 
强调 对 变更 的 控制 显得 尤为 重要 。 

变更 来 源 于 4 个 方面 : 项 目 计 划 的 变更 ,需求 的 变更 ,测试 产品 版 本 的 变更 ,测试 资源 
的 变更 。 

测试 阶段 的 风险 主要 来 源 于 上 述 变 更 所 造成 的 不 确定 性 ,有 效 地 应 对 这 些 变 更 就 能 降 
低 风 险 发 生 的 概率 。 要 想 计划 本 身 不 成 为 空谈 和 空白 无 用 的 纸 质 文档 ,对 不 确定 因素 的 预 
见 和 事先 防范 必须 做 到 心中 有 数 。 

D 项 目 计划 的 变更 

项 目 计划 的 变更 一 般 所 涉及 的 都 是 日 程 变更 。 当 项 目 计划 出 现 变更 时 ,由 于 软件 产品 
的 交付 期 是 既定 的 ,因而 不 得 不 采取 一 些 有 效 的 方法 ,压缩 执行 测试 的 时 间 。 为 了 应 对 此 变 
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更 ,在 确保 测试 质量 的 前 提 下 ,适当 地 调整 测试 计划 的 测试 策略 和 范围 是 一 种 主要 方法 。 调 
整 的 目的 是 重新 确定 不 重要 的 测试 部 分 ,调换 测试 的 次 序 和 减少 测试 规模 ,力求 在 限定 时 间 
内 做 最 重要 部 分 的 测试 。 为 弥补 其 不 足 ,可 以 把 忽略 部 分 的 测试 内 容留 给 确认 测试 或 现场 
测试 。 此 外 ,其 他 的 应 对 办 法 包括 : 减少 进入 测试 的 阻力 例如 降低 测试 计划 中 系统 测试 准 
入 准则 ,分 步 提交 测试 例如 改 成 迭代 方式 增 量 测试 ,减少 回归 测试 的 要 求 例如 开发 人 员 实 时 
修改 ,在 测试 计划 中 对 缺陷 修复 响应 时 间 和 过 程 进行 约定 ,缺陷 进行 局 部 回归 而 不 是 重新 全 
部 测试 等 。 

2) 需求 的 变更 

项 目 进行 过 程 中 最 不 可 避免 的 就 是 需求 的 变更 。 在 制订 测试 计划 时 ,如 果 项 目 需求 处 
于 动态 变化 中 , 则 需要 在 测试 用 例 章节 进行 说 明 。 在 实际 工作 中 ,测试 用 例 和 测试 数据 往往 
没有 进行 区 分 ,因而 当 需 求 发 生变 化 时 ,设计 的 数据 就 作废 了 。 因 此 ,对 于 一 个 动态 需求 的 
项 目 , 必 须 在 计划 中 对 因 需 求 变更 而 造成 的 测试 方式 的 变化 加 以 说 明 。 

3) 产品 版 本 的 变更 

对 于 测试 产品 版 本 的 变更 ,除了 部 分 是 由 于 需求 变更 而 造成 的 外 ,修改 缺陷 引发 的 问题 
应 在 章节 中 增加 测试 产品 版 本 更 新 管理 的 章节 ,在 此 章节 明确 更 新 周期 和 暂停 测试 的 原则 。 
例如 ,小 版 本 的 产品 更 新 不 能 多 于 每 天 三 次 ,一 个 相对 大 的 版 本 其 变更 不 能 多 于 每 周 1 次 ， 
紧急 发 布 产品 仅 限 于 何 种 类 型 的 修改 或 变更 ,由 谁 负责 统一 维护 和 同步 更 新 测试 环境 等 。 
测试 计划 通常 制订 了 准 入 和 准 出 标准 ,但 还 应 考虑 测试 暂停 的 情况 ,例如 产品 错误 发 布 或 者 
服务 器 数据 更 新 。 暂 停 时 如 果 测 试 经 理 不 进行 跟踪 ,可 能 发 生 测试 组 等 待 测试 而 没 人 通知 
继续 测试 的 情况 ,造成 测试 资源 的 浪费 。 因 此 ,增加 更 新 周期 和 和 暂停 测试 原则 是 很 有 必 
要 的 。 

4) 测试 资源 的 变更 

测试 资源 的 变更 是 测试 组 内 部 测试 资源 不 足 或 者 与 其 他 测试 项 目的 测试 时 间 冲 突 时 ， 
测试 部 门 不 能 安排 更 多 的 人 力 和 足够 时 间 参 与 测试 的 情况 。 在 测试 计划 中 的 控制 方法 与 测 
试 日 程 变更 相 类 似 。 为 了 排除 这 种 风险 , 除 缩减 测试 规模 等 方法 以 外 ,需要 保证 的 资源 还 必 
须 在 测试 计划 中 人 力 资源 和 测试 环境 一 栏 明确 ,否则 ,必须 将 这 个 问题 作为 风险 记录 。 

尽管 上 面 尽 可 能 地 描述 了 测试 计划 如 何 制订 才能 “完美 ,但 是 还 存在 的 问题 是 对 测试 
计划 的 管理 和 监控 。 一 份 计划 投入 再 多 的 时 间 去 做 也 不 能 保证 按照 这 份 计划 进行 实施 。 好 
的 测试 计划 是 成 功 的 一 半 , 另 一 半 是 对 测试 计划 的 执行 。 对 小 项 目 而 言 , 一 份 更 易于 操作 的 
测试 计划 更 为 实用 ,对 中 型 乃至 大 型 项 目 来 看 ,测试 经 理 的 测试 管理 能 力 就 显得 格外 重要 ， 
要 确保 计划 不 折 不 扣 地 执行 下 去 ,测试 经 理 的 人 际 谐 调 能 力 、 项 目测 试 的 操作 经 验 、 公 司 的 
质量 现状 等 都 能 够 对 项 目测 试 产生 足够 的 影响 。 另 外 ,计划 也 是 “动态 的 ”! 没有 必要 把 所 
有 的 可 能 因素 都 囊括 进去 ,也 没有 必要 针对 这 种 变化 额外 制订 “计划 的 计划 ”, 测 试 计划 制订 
不 能 在 项 目 开 始 后 束之高阁 ,而 应 紧 追 项 目的 变化 ,实时 进行 思考 和 贯彻 ,根据 现实 修改 , 然 
后 成 功 实施 ,这 才能 实现 测试 计划 的 最 终 目标 一 一 保证 项 目 最 终 产 品 的 质量 ! 


3. 测试 停止 准则 


根据 测试 项 目的 实际 需要 ,测试 者 会 制订 符合 被 测 软 件 具体 需求 的 测试 停止 标准 。 这 
里 给 出 一 份 比较 流行 的 测试 停止 标准 文档 , 仅 供 学 习 参 考 。 
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软件 测试 停止 标准 
简介 
目的 : 本 文档 的 目的 是 为 软件 单元 测试 .集成 测试 .确认 测试 、 系 统 测试 .安装 测试 、 验 
收 测试 提供 停止 标准 。 


范围 : 本 文档 适用 于 xxxx 软件 研发 部 批准 立项 的 软件 项 目 ( xx#xx ) 的 测试 活动 。 

文档 结构 : 

第 一 部 分 : 简介 ,介绍 软件 停止 标准 的 目的 ,本 标准 的 适用 范围 ,以 及 在 本 文档 中 使 用 
的 词汇 的 解释 。 

第 二 部 分 : 描述 软件 单元 测试 、. 集 成 测试 、 确 认 测 试 . 系 统 测 试 、 安 装 测试 .验收 测试 停 
止 标准 。 

第 三 部 分 : 列 出 本 标准 使 用 的 参考 文献 。 

第 四 部 分 : 附录 。 

词汇 表 : 

tk K (Defect): 是 对 软件 产品 预期 属性 的 偏离 现象 。 

JE E (Coverage Rate); 语句 履 盖 率 、 测 试用 例 执行 覆盖 率 , 测 试 需求 覆盖 率 等 的 
总 称 。 
二 、 软 件 测 试 停止 标准 

软件 测试 暂停 .停止 标准 : 

(1) 软件 系统 在 进行 单元 集成、 确认、 系统 安装、 验收 测试 时 ,发 现 一 级 错误 (大 于 等 
于 1)、 二 级 错误 (大 于 等 于 2) 暂 停 测试 返回 开发 。 

(2) 软件 系统 经 过 单元 、 集 成 确认、 系统 、 安 装 、 验 收 测试 ,分 别 达 到 单元 、 集 成 、 确 认 、 
系统 、 安 装 、 验 收 测试 停止 标准 。 

(3) 软件 系统 通过 验收 测试 ,并 已 得 出 验收 测试 结论 。 

(4) 软件 项 目 需 暂 停 以 进行 调整 时 ,测试 应 随 之 暂停 ,并 备份 暂停 点 数据 。 

(5) 软件 项 目 在 其 开发 生命 周期 内 出 现 重大 估算 ,进度 偏差 , 需 暂 停 或 终止 时 ,测试 应 
随 之 暂停 或 终止 ,并 备份 暂停 或 终止 点 数据 。 

单元 测试 停止 标准 

CD 单元 测试 用 例 设计 已 经 通过 评审 。 

(2) 按照 单元 测试 计划 完成 了 所 有 规定 单元 的 测试 。 

(3) 达到 了 测试 计划 中 关于 单元 测试 所 规定 的 履 盖 率 的 要 求 。 

(4) 被 测试 的 单元 每 千 行 代码 必须 发 现 至 少 3 个 错误 (不 含 五 级 错误 ) 。 

(5) 软件 单元 功能 与 设计 一 致 。 

(6) 在 单元 测试 中 发 现 的 错误 已 经 得 到 修改 ,各 级 缺陷 修复 率 达 到 标准 。 

集成 测试 停止 标准 

(1) 集成 测试 用 例 设 计 已 经 通过 评审 。 

(2) 按照 集成 构件 计划 及 增 量 集成 策略 完成 了 整个 系统 的 集成 测试 。 
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(3) 达到 了 测试 计划 中 关于 集成 测试 所 规定 的 履 盖 率 的 要 求 。 

(4) 被 测试 的 集成 工作 版 本 每 千 行 代码 必须 发 现 至 少 2 个 错误 (不 含 五 级 错误 ) 。 

(5) 集成 工作 版 本 满足 设计 定义 的 各 项 功能 .性 能 要 求 。 

(6) 在 集成 测试 中 发 现 的 错误 已 经 得 到 修改 ,各 级 缺陷 修复 率 达 到 标准 。 

确认 测试 停止 标准 

CD 确认 测试 用 例 设计 已 经 通过 评审 。 

(2) 按照 确认 测试 计划 完成 了 确认 测试 。 

G) 达到 了 确认 测试 计划 中 关于 确认 测试 所 规定 的 履 盖 率 的 要 求 。 

(4) 系统 达到 详细 设计 定义 的 各 项 功能 、 性 能 。 

(5) 在 系统 测试 中 发 现 的 错误 已 经 得 到 修改 ,各 级 缺陷 修复 率 达 到 标准 。 

系统 测试 停止 标准 

(1) 系统 测试 用 例 设计 已 经 通过 评审 。 

(2) 按照 系统 测试 计划 完成 了 系统 测试 。 

(3) 达到 了 测试 计划 中 关于 系统 测试 所 规定 的 履 盖 率 的 要 求 。 

(4) 被 测试 的 系统 每 千 行 代码 必须 发 现 至 少 1 个 错误 (不 含 五 级 错误 ) 。 

(5) 系统 满足 需求 规格 说 明 书 的 要 求 。 

(6) 在 系统 测试 中 发 现 的 错误 已 经 得 到 修改 ,各 级 缺陷 修复 率 达 到 标准 。 

安装 测试 停止 标准 

(1) 安装 退出 之 后 ,确认 应 用 程序 可 以 正确 启动 .运行 。 

(2) 在 安装 之 前 请 备份 你 的 注册 表 , 安 装 之 后 ,察看 注册 表 中 是 否 有 多 余 的 垃圾 信息 。 

G) 如 果 系 统 提 供 自动 卸载 工具 ,那么 卸载 之 后 需 检 验 系 统 是 否 把 所 有 的 文件 全 部 删 
除 ,注册 表 中 有 关 的 注册 信息 是 否 也 被 删除 。 

U) 安装 完成 之 后 ,可 以 在 简单 地 使 用 之 后 再 执行 卸载 操作 ,有 的 系统 在 使 用 之 后 会 
发 生变 化 , 变 得 不 可 印 载 。 

(5) 对 于 客户 服务 器 模式 的 应 用 系统 ,可 以 先 安装 客户 端 ,然后 安装 服务 器 端 ,测试 是 
否 会 出 现 问题 。 

(6) 考察 安装 该 系统 是 否 对 其 他 的 应 用 程序 造成 影响 ,特别 是 Windows 操作 系统 ,经 
常会 出 现 此 类 的 问题 。 

CD) 在 安装 测试 中 发 现 的 错误 已 经 得 到 修改 ,各 级 缺陷 修复 率 达 到 标准 。 

验收 测试 停止 标准 

(1) 软件 需求 分 析 说 明 书 中 定义 的 所 有 功能 已 全 部 实现 ,性 能 指标 全 部 达到 要 求 。 

(2) 在 验收 测试 中 发 现 的 错误 已 经 得 到 修改 ,各 级 缺陷 修复 率 达 到 标准 。 

(3) 所 有 测试 项 没有 残余 一 级 、 二 级 、 三 级 和 四 级 错误 。 

(4) 需求 分 析 文 档 、 设 计 文 档 和 编码 实现 一 致 。 

(5) 验收 测试 工件 齐全 (测试 计划 、 测 试用 例 、 测 试 日 志 、 测 试 通知 单 、 测 试 分 析 报 告 ， 
待 验收 的 软件 安装 程序 。) 

缺陷 修复 率 标准 

CD 一 、 三 级 错误 修复 率 应 达到 10096. 
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(2) 三 、 四 级 错误 修复 率 应 达到 95) AE, 

(3) 五 级 错误 修复 率 应 达到 60% 以 上 。 

覆盖 率 标准 

(1) 语句 覆盖 率 最 低 不 能 小 于 80%( 白 仗 测 试 时 的 语句 覆盖 率 )。 

(2) 测试 用 例 执行 覆盖 率 应 达到 100%( 功 能 测试 用 例 均 以 执行 )。 

(D 测试 需求 执行 履 盖 率 应 达到 100%( 业 务 测试 用 例 均 以 执行 ) 。 
=., 错误 级 别 

一 级 : 不 能 完全 满足 系统 要 求 ,基本 功能 未 完全 实现 ; 或 者 危及 数据 安全 ,系统 触 演 或 
挂 起 等 导致 系统 不 能 继续 运行 。 

包括 以 下 各 种 错误 : 

(1) 由 于 程序 所 引起 的 死机 ,非法 退出 。 

(2) 死 循环 。 

(3) 因 错 误 操作 导致 的 程序 中 断 。 

(4) 功能 错误 或 完全 未 实现 。 

(5) 与 数据 库 连 接 错误 。 

(6) 数据 通信 错误 。 

二 级 : 严重 地 影响 系统 要 求 或 基本 功能 的 实现 , 且 没 有 更 正 办 法 (重新 安 或 重新 启动 
该 软件 不 属于 更 正 办 法 ) 。 使 系统 不 稳定 ,或 破坏 数据 ,或 产生 错误 结果 ,或 部 分 功能 无 法 
执行 ,而 且 是 常规 操作 中 经 常 发 生 或 非常 规 操作 中 不 可 避免 的 主要 问题 。 

包括 以 下 各 种 错误 : 

(1) 程序 接口 错误 。 

(2) 系统 可 被 执行 ,但 操作 功能 无 法 执行 ( 含 指令 )。 

(3) 单项 操作 功能 可 被 执行 ,但 在 此 功能 中 某 些小 功能 ( 含 指令 参数 的 使 用 ) 无 法 被 执 
行 (对 系统 非 致命 的 )。 

(4) 在 小 功能 项 的 某 些 项 目 (选项 ) 使 用 无 效 ( 对 系统 非 致命 的 )。 

(5) 业务 流程 不 正确 。 

(6) 功能 实现 不 完整 ,如 删除 时 没有 考虑 数据 关联 。 

(7) 功能 的 实现 不 正确 ,如 在 系统 实现 的 界面 上 ,一 些 可 接受 输入 的 控件 点 击 后 无 作 
用 ; 对 数据 库 的 操作 不 能 正确 实现 。 

(8) 报表 格式 以 及 打印 内 容错 误 ( 行 列 不 完整 ,数据 显示 不 在 所 对 应 的 行列 等 导致 数 
据 显示 结果 不 正确 的 错误 )。 

三 级 : 严重 地 影响 系统 要 求 或 基本 功能 的 实现 ,但 存在 合理 的 更 正 办 法 (重新 安装 或 
重新 启动 该 软件 不 属于 更 正 办 法 )。 系 统 性 能 或 响应 时 间 变 慢 、 产 生 错 误 的 中 间 结 果 但 不 
影响 最 终结 果 等 影响 有 限 的 问题 。 

包括 以 下 各 种 错误 : 

CD 操作 界面 错误 (包括 数据 窗口 内 列 名 定义 、 含 义 是 否 一 致 ) 。 

(2) 打印 内 容 、 格 式 错 误 ( 只 影响 报表 的 格式 或 外 观 , 不 影响 数据 显示 结果 的 错误 ) 。 

(3) 简单 的 输入 限制 未 放 在 前 台 进 行 控制 。 
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(4) 删除 操作 未 给 出 提示 。 

(5) 已 被 捕捉 的 系统 崩溃 ,不 影响 继续 操作 。 

(6) 虽然 正确 性 不 受 影响 ,但 系统 性 能 和 响应 时 间 受 到 影响 。 

(7) 不 能 定位 焦点 或 定位 有 误 , 影 响 功 能 实现 。 

(8) 显示 不 正确 但 输出 正确 。 

(9) 增删 改 功 能 ,在 本 界面 不 能 实现 ,但 在 另 一 界面 可 以 补充 实现 。 

四 级 : 使 操作 者 不 方便 或 遇 到 麻烦 ,但 它 不 影响 执行 工作 功能 或 重要 功能 。 界 面 拼写 
错误 或 用 户 使 用 不 方便 等 小 问题 或 需要 完善 的 问题 。 

包括 以 下 各 种 错误 : 

(1) 界面 不 规范 。 

(2) 辅助 说 明 描述 不 清楚 。 

(3) 输入 输出 不 规范 。 

(4) 长 时 间 操 作 未 给 用 户 提示 。 

(5) 提示 窗口 文字 未 采用 行业 术语 。 

(6) 可 输入 区 域 和 只 读 区 域 没有 明显 的 区 分 标志 。 

(7) 必 填 项 与 非 必 填 项 应 加 以 区 别 。 

(8) 滚动 条 无 效 。 

(9) 键盘 支持 不 好 ,如 在 可 输入 多 行 的 字段 中 ,不 支持 回 车 换行 ; 或 对 相同 字段 ,在 不 
同 界面 支持 不 同 的 快捷 方式 。 

(10) 界面 不 能 及 时 刷新 ,影响 功能 实现 。 

五 级 : 其 他 错误 。 

(1) 光标 跳 转 设置 不 好 ,鼠标 (光标 ) 定 位 错误 。 

(2) 一 些 建议 性 问题 。 
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4. 软件 测试 结束 点 的 确定 


在 软件 消亡 之 前 ,如 果 没 有 确定 测试 的 结束 点 ,那么 软件 测试 就 会 永 无 休止 ,永远 不 可 
能 结束 。 软 件 测试 的 结束 点 ,要 依据 自己 公司 具体 情况 来 制订 ,不 能 一 概 而 论 。 一 般 来 说 测 
试 结束 点 由 以 下 几 个 条 件 决定 : 

D 基于 “测试 阶段 ”的 原则 

每 个 软件 的 测试 一 般 都 要 经 过 单元 测试 .集成 测试 .系统 测试 这 几 个 阶段 ,我 们 可 以 分 
别 对 单元 测试 .集成 测试 和 系统 测试 制订 详细 的 测试 结束 点 。 每 个 测试 阶段 符合 结束 标准 
后 ,再 进行 后 面 一 个 阶段 的 测试 。 例 如 ,单元 测试 ,我 们 要 求 测试 结束 点 必须 满足 “核心 代码 
100% 经 过 Code Review”“ 功 能 覆盖 率 达 到 100%”“ 代 码 行 覆盖 率 不 低 于 80%” “REE 
A.B 类 缺陷 ”“ 所 有 发 现 缺陷 至 少 60% 都 纳入 缺陷 追踪 系统 且 各 级 缺陷 修复 率 达 到 标准 ” 
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等 标准 。 集 成 测试 和 系统 测试 的 结束 点 都 制订 相关 的 结束 标准 ,当然 也 是 如 此 。 

2) 基于 “测试 用 例 ” 的 原则 

测试 设计 人 员 设 计 测 试用 例 ,并 请 项 目 组 成 员 参 与 评审 ,测试 用 例 一 旦 评审 通过 ,后 面 
测试 时 ,就 可 以 作为 测试 结束 的 一 个 参考 标准 。 比 如 说 在 测试 过 程 中 ,如 果 发 现 测 试用 例 通 
过 率 太 低 ,可 以 拒绝 继续 测试 , 待 开 发 人 员 修 复 后 再 继续 。 在 功能 测试 用 例 通过 率 达 到 
100% , 非 功能 性 测试 用 例 达 到 95% 以 上 时 ,允许 正常 结束 测试 。 但 是 使 用 该 原则 作为 测试 
结束 点 时 ,把 握 好 测试 用 例 的 质量 非常 关键 。 

3) 基于 “缺陷 收敛 趋势 "的 原则 

软件 测试 的 生命 周期 中 随 着 测试 时 间 的 推移 ,测试 发 现 的 缺陷 图 线 ,首先 成 逐渐 上 升 趋 
势 ,然后 测试 到 一 定 阶段 ,缺陷 又 成 下 降 趋 势 , 直 到 发 现 的 缺陷 几乎 为 零 或 者 很 难 发 现 缺 陷 
为 止 。 我 们 可 以 通过 缺陷 的 趋势 图 线 的 走向 ,来 定 测试 是 否 可 以 结束 ,这 也 是 一 个 判定 
标准 。 

4) 基于 “缺陷 修复 率 ” 的 原则 

在 测试 生命 周期 中 我 们 将 软件 缺陷 分 成 几 个 严重 等 级 ,它们 分 别 是 严重 错误 .主要 错 
误 , 次 要 错误 一般 错 误 , 较 小 错误 和 测试 建议 6 种 。 我 们 在 确定 测试 结束 点 时 ,严重 错误 和 
主要 错误 的 缺陷 修复 率 必须 达到 100% ,不 允许 存在 功能 性 的 错误 ; 次 要 错误 和 一 般 错误 的 
缺陷 修复 率 必须 达到 85% 以 上 ,允许 存在 少量 功能 缺陷 ,后 面 版 本 解决 ; 对 于 较 小 错误 的 缺 
陷 修 复 率 最 好 达到 60 95 — 70 96 VA E s 对 于 测试 建议 的 问题 ,可 以 暂时 不 用 修改 。 

5) 基于 “验收 测试 ”的 原则 

很 多 公司 都 是 做 项 目 软件 ,如 果 要 确定 测试 结束 点 ,最 好 测试 到 一 定 阶段 ,达到 或 接近 
测试 部 门 指定 的 标准 后 ,再 递交 用 户 做 验收 测试 。 如 果 通 过 了 用 户 的 测试 验收 ,就 可 以 立即 
终止 测试 部 门 的 测试 ; 如 果 客 户 验 收 测试 时 ,发 现 了 部 分 缺陷 ,就 可 以 针对 性 地 修改 缺陷 
后 ,验证 通过 后 递交 客户 ,相应 测试 也 可 以 结束 。 

6) 基于 “覆盖 率 ” 的 原则 

对 于 测试 “覆盖 率 ” 的 原则 ,只 要 测试 用 例 的 “覆盖 率 "覆盖 了 客户 提出 全 部 的 软件 需求 ， 
包括 行业 隐 性 需求 功能 需求 和 性 能 需求 等 ,只 要 测试 用 例 执行 的 覆盖 率 达 到 100%, 基 本 
上 测试 就 可 以 结束 。 如 * 单 元 测试 中 语句 覆盖 率 最 低 不 能 小 于 80%”“ 测 试用 例 执行 覆盖 
率 应 达到 100%” 和 “测试 需求 覆盖 率 应 达到 100%” 都 可 以 作为 结束 确定 点 。 如 果 你 不 放 
心 ,非得 要 看 看 测试 用 例 的 执行 效果 ,检查 是 否 有 用 例 被 漏 执行 的 情况 ,可 以 对 常用 的 功能 
进行 “抽样 测试 ”和 * 随 机 测试 ”。 对 于 覆盖 率 在 单元 测试 集成 测试 和 系统 测试 ,每 个 阶段 
都 不 能 忽略 。 

7) 基于 “项 目 计划 ”的 原则 

大 多 数 情 况 下 ,每 个 项 目 从 开始 就 要 编写 开发 和 测试 的 进度 表 , 相 应 地 在 测试 计划 中 也 
会 对 应 每 个 里 程 碑 ,对 测试 进度 和 测试 结束 点 做 一 个 限制 ,一般 来 说 都 要 和 项 目 组 成 员 ( 开 
发 ,管理 ,测试 ,市 场 , 销 售 人 员 ) 达 成 共识 ,团队 集体 同意 后 制订 一 个 标准 结束 点 。 如 果 项 目 
的 某 个 环节 延迟 了 ,测试 时 间 就 相应 缩短 。 大 多 数 情况 下 是 所 有 规定 的 测试 内 容 和 回归 
测试 都 已 经 运行 完成 ,就 可 以 作为 一 个 结束 点 。 很 多 不 规范 的 软件 公司 ,都 是 把 项 目 计 
划 作 为 一 个 测试 结束 点 ,但 是 如 果 把 它 作为 一 个 结束 点 ,测试 风险 较 大 ,软件 质量 很 难得 
到 保证 。 
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8) 基于 “缺陷 度量 ”的 原则 

这 个 原则 用 的 不 是 很 多 。 我 们 可 以 对 已 经 发 现 的 缺陷 ,运用 常用 的 缺陷 分 析 技 术 和 缺 
陷 分 析 工 具 ,用 图 表 统 计 出 来 ,方便 查阅 ,分 时 间 段 对 缺陷 进行 度量 。 我 们 也 可 以 把 “测试 
期 缺陷 密度 "和 “运行 期 缺陷 密度 ”作为 一 个 结束 点 。 当 然 , 最 合适 的 测试 结束 的 准则 应 该 
是 “缺陷 数控 制 在 一 个 可 以 接受 的 范围 内 ”。 比 如 ,一 万 行 代码 最 多 允许 存在 多 少 个 什么 严 
重 等 级 的 错误 ,会 比较 好 量化 .比较 好 实施 ,成 为 测试 缺陷 度量 的 主流 。 

9) 基于 “质量 成 本 ”的 原则 

一 个 软件 往往 从 “质量 成本、 进度” 三 方面 取得 平衡 后 就 停止 。 至 于 这 三 方面 哪 一 项 占 
主要 地 位 ,就 要 看 是 被 测 软 件 的 具体 情况 。 比 如 ,人 命 关 天 的 航天 航空 软件 ,质量 最 重要 ,就 
算 多 花 点 钱 、 推 迟 一 下 进度 ,也 要 保证 有 较 高 质量 以 后 才能 终止 测试 ,发 布 版 本 。 如 果 是 一 
般 的 常用 软件 ,由 于 利益 和 市 场 的 原因 ,哪怕 有 Bug, 也 必须 得 先 推出 产品 。 一 般 来 说 ,最 主 
要 的 参考 依据 是 “把 找到 缺陷 耗费 的 代价 和 这 个 缺陷 可 能 导致 的 损失 做 一 个 均衡 ”。 具 体操 
作 的 时 候 , 可 以 根据 公司 实际 情况 来 定义 什么 样 的 情况 下 算是 “测试 花费 的 代价 最 划算 、 最 
合理 ”, 同 时 保证 公司 利益 最 大 化 。 如 果 找 到 Bug 的 成 本 比 用户 发 现 Bug 的 成 本 还 高 ,也 可 
以 终止 测试 。 

10) 基于 “测试 行业 经 验 ” 的 原则 

很 多 情况 下 ,测试 行业 的 一 些 经 验 , 也 可 以 为 我 们 的 测试 提供 借鉴 。 比 如 ,测试 人 员 对 
行业 业务 的 熟悉 程度 ,测试 人 员 的 工作 能 力 ,测试 的 工作 效率 等 都 会 影响 到 整个 测试 计划 的 
执行 。 如 果 一 个 测试 团队 中 ,每 个 人 都 没有 项 目 行业 经 验 数据 积累 , 拿 到 一 个 新 的 项 目 时 ， 
自然 是 一 头 雾 水 ,不 知道 从 何 处 开始 ,测试 质量 自然 不 会 很 高 。 因 此 通过 测试 者 的 经 验 , 对 
确认 测试 执行 和 结束 点 也 会 起 到 关键 性 的 作用 。 

上 述 10 条 原则 与 前 面 的 测试 停止 文档 内 容 不 矛盾 ,两 者 经 常会 结合 在 一 起 使 用 。 它 们 
也 可 以 作为 软件 质量 度量 的 参考 标准 。 


6.3 缺陷 管理 
— 


6.3.1 缺陷 管理 简介 


缺陷 (Defect/Bug): 是 指 软件 中 (程序 及 文档 ) 不 符合 用 户 需 求 而 存在 的 问题 。 在 软件 
测试 过 程 中 , 与 缺陷 类 似 的 概念 还 有 错误 (Error/Mistake)、 R 7 (Failure), 5t 2 
(Anomaly) 等 。 

所 有 的 人 都 会 犯错 误 ,因此 由 人 设计 的 代码 、 系 统 和 文档 中 都 可 能 会 引入 缺陷 。 当 存在 
缺陷 的 代码 被 执行 时 ,系统 就 可 能 无 法 执行 期 望 的 指令 (或 者 做 了 不 应 该 执行 的 指令 ) ,从 而 
引起 软件 失效 。 虽 然 软 件 、 系 统 和 文档 中 的 缺陷 可 能 会 引起 失效 ,但 并 不 是 所 有 的 缺陷 都 会 
这 样 。 

软件 测试 是 评估 软件 产品 质量 的 一 个 重要 手段 ,同时 软件 测试 的 一 个 重要 目的 是 尽 可 
能 早 和 尽 可 能 多 地 发 现 软件 中 存在 的 缺陷 ,并 尽快 将 缺陷 修复 。 尽 早 发 现 和 修复 缺陷 是 软 
件 测试 的 基本 原则 之 一 ,也 是 提高 软件 产品 质量 和 降低 成 本 的 重要 手段 之 一 。 因 此 ,对 软件 
测试 中 的 重要 输出 一 一 缺陷 的 管理 就 显得 尤为 重要 。 
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测试 经 理 、 测 试 分 析 员 和 测试 技术 分 析 员 都 必须 了 解 和 掌握 缺陷 管理 的 过 程 。 对 于 测 
试 经 理 ,主要 需要 关注 软件 缺陷 管理 过 程 ,包括 识别 .跟踪 和 验证 缺陷 的 活动 。 对 于 测试 分 
析 员 和 测试 技术 分 析 员 ,主要 关注 如 何在 测试 过 程 中 正确 发 现 和 记录 缺陷 以 及 后 续 的 缺陷 
验证 工作 。 

缺陷 对 评估 和 改进 产品 质量 ,测试 效率 、 测 试 过 程 和 开发 过 程 等 都 有 重要 的 意义 。 其 主 
要 目的 和 作用 表现 在 : 

* 为 开发 人 员 和 其 他 人 员 提 供 问 题 反 馈 ,在 需要 的 时 候 可 以 鉴别 .隔离 和 纠正 这 些 

缺陷 。 

。 为 项 目 管理 人 员 提 供 被 测 系统 的 质量 信息 ,在 需要 的 时 候 作为 调整 测试 进度 的 

依据 。 

* 为 测试 过 程 改进 和 开发 过 程 改 进 提供 有 用 的 数据 和 信息 。 


6.3.2 缺陷 的 处 理 流程 
1. 缺陷 生存 周期 


和 软件 开发 生存 周期 一 样 ,缺陷 同样 具有 生存 周期 。 缺 陷 生 存 周 期 主要 由 4 个 阶段 组 
R: 发 现 , 检 查 \ 修 正和 总 结 。 对 于 缺陷 生存 周期 的 每 个 阶段 ,都 包括 记录 、 分 类 和 确定 影响 
三 个 活动 。 缺 陷 生存 周期 的 4 个 阶段 看 起 来 是 按照 顺序 进行 的 ,但 是 缺陷 可 能 会 在 这 几 个 
阶段 中 进行 多 次 迭代 。 

CD 发 现 。 缺 陷 的 发 现 是 整个 缺陷 生存 周期 的 第 一 个 阶段 , 它 可 以 发 生 在 软件 开发 生 
存 周期 的 任何 一 个 阶段 。 缺 陷 的 识别 可 以 由 参与 项 目的 任何 利益 相关 者 完成 ,例如 系统 人 
员 、 开 发 人 员 ,测试 人 员 ,支持 人 员 、 用 户 等 。 

(2) 检查 。 经 过 缺陷 识别 阶段 后 ,需要 对 每 个 可 能 的 缺陷 进行 检查 。 检 查 阶 段 主要 是 
用 来 发 现 可 能 存在 的 其 他 问题 以 及 相关 的 解决 方案 ,解决 方案 包括 “不 采取 任何 行动 ”。 

(3) 修正 。 根 据 缺 陷 调 查 阶段 中 得 到 的 结果 和 信息 ,就 可 以 采取 改正 措施 解决 引起 缺 
陷 的 错误 。 采 取 的 行动 可 能 是 修复 缺陷 ,也 可 能 是 针对 开发 过 程 和 测试 过 程 的 改进 建议 ,以 
避免 在 将 来 的 项 目 中 重复 出 现 相 似 的 缺陷 。 针 对 每 个 缺陷 的 修复 ,需要 进行 相关 的 回归 测 
试 和 青 测试 ,避免 由 于 缺陷 的 修复 而 影响 原 有 的 功能 。 

CD 总 结 。 在 这 个 阶段 ,主要 是 记录 一 些 支持 数据 信息 ,如 缺陷 关闭 时 间 、 文 档 更 新 完 
成 时 间 等 。 另 外 ,还 需要 将 缺陷 的 状态 进行 分 类 ,对 以 后 的 缺陷 管理 提供 支持 。 


2. 缺陷 处 理 流程 


企业 在 实际 测试 进程 中 ,主要 根据 缺陷 在 其 生存 周期 的 演化 来 规范 缺陷 处 理 流程 。 但 
由 于 缺陷 的 复杂 程度 不 同 , 处 理 的 过 程 也 有 很 大 差别 。 

图 6-1 是 基本 的 缺陷 处 理 流程 ,其 中 有 发 现 缺 陷 , 提 交 缺 陷 , 接 受 缺 陷 . 分 配 缺陷 .打开 
缺陷 、 检 查 缺陷 ,修正 缺陷 、 总 结 和 关闭 等 阶段 。 每 个 阶段 都 要 经 历 记录 、 分 类 和 确定 影响 三 
项 工作 来 确定 下 一 步 工 作 的 走向 。 图 只 反映 缺陷 处 理 的 常用 环节 ,并 不 适用 于 所 有 的 测试 
项 目 。 
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! 是 否 拒绝 


i 是 否 重复 


重新 打开 打开 缺陷 [= 一 一 | 


XH 上 


图 6-1 缺陷 处 理 流程 


6.3.3 ”缺陷 的 分 类 
1. 按 缺 陷 状态 分 类 


在 缺陷 生存 周期 中 ,缺陷 有 多 种 状态 : 新 缺陷 (New) ,接受 (Accepted) .打开 (Open) , fit 
H (Resolved) .已 修改 (Fixed) , £538 (Closed) 、 重 新 打开 (ReOpen)。 一 个 缺陷 由 测试 人 员 发 
现 并 提交 ,状态 标记 为 新 缺陷 ; 开发 人 员 接 受 缺 陷 , 表 示 认 可 ; 开发 人 员 解 决 该 缺陷 后 ,将 
缺陷 状态 改 为 解决 ,并 发 回 测试 人 员 进 行 回归 测试 ; 若 测试 人 员 确认 缺陷 已 解决 ,再 将 缺陷 
状态 标记 为 已 修改 ; 缺陷 评审 委员 会 对 整个 缺陷 修复 过 程 进行 评审 ,评审 通过 后 就 将 缺陷 
状态 改 为 结束 ,否则 重新 发 回 给 开发 人 员 修改 ,标记 缺陷 状态 为 重新 打开 。 


2. 按照 缺陷 的 严重 程度 分 类 


缺陷 的 严重 程度 指 的 是 假如 缺陷 没有 修复 时 ,软件 缺陷 对 软件 质量 的 破坏 程度 , 即 此 软 
件 缺 陷 的 存在 对 软件 功能 特性 和 非 功 能 特性 产生 的 影响 。 缺 陷 的 严重 程度 关注 的 是 缺陷 引 
发 的 问题 对 客户 的 影响 程度 。 在 给 缺陷 确定 严重 程度 的 时 候 , 应 该 从 软件 最 终 用 户 的 角度 
进行 判断 。 一 般 而 言 ,缺陷 的 影响 越 大 ,缺陷 的 严重 程度 越 高 。 我 们 将 缺陷 的 严重 程度 分 为 
4 个 等 级 。 

CD 致命 缺陷 : 产品 在 正常 的 运行 环境 下 无 法 给 用 户 提供 服务 ,并 且 没 有 其 他 的 工作 
方式 可 以 补救 ; 或 者 软件 失效 会 造成 人 身 伤害 或 危及 人 身 安全 。 

(2) 严重 缺陷 : 极 大 影响 系统 提供 给 用 户 的 服务 ,或 者 严重 影响 系统 基本 功能 的 实现 。 

(3) 一 般 缺 陷 : 系统 功能 需要 增强 或 存在 缺陷 ,但 有 相应 的 补救 方法 解决 这 个 缺陷 。 

(4) 轻微 缺陷 : 细小 的 问题 ,不 需要 补救 方法 或 对 功能 进行 增强 ; 或 者 操作 不 方便 , 容 
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易 使 用 户 误 操作 。 
3. 按照 优先 级 分 类 


优先 级 是 处 理 软 件 缺 陷 先 后 顺序 的 指标 。 确 定 缺 陷 的 优先 级 更 多 地 是 站 在 软件 开发 和 
软件 测试 的 角度 来 进行 考虑 。 确 定 缺陷 的 优先 级 除了 有 从 技术 角度 考虑 ,还 要 考虑 修复 缺 
陷 的 难度 ,存在 的 风险 ,缺陷 发 生 的 频率 和 对 目标 用 户 的 影响 。 结 合 上 述 因 素 ,我 们 把 缺陷 
的 优先 级 分 为 3 个 等 级 : 

CD 立即 处 理 : 优先 级 最 高 。 用 户 的 业务 或 工作 过 程 受阻 ,或 运行 中 的 测试 无 法 继续 。 
该 问题 需要 立即 修复 ,或 必要 的 话 采 取 临 时 措施 (如 打 补丁 的 方式 ) 。 

(2) 下 次 发 布 处 理 : 在 下 次 常规 的 产品 发 布 或 下 次 (内 部 ) 测 试 对 象 版 本 交付 时 实施 
修正 。 

G) 必要 时 处 理 : 优先 级 最 低 。 在 受 影响 的 系统 部 件 应 当 进行 修订 时 进行 修正 。 


4. 按 测试 种 类 分 类 


按照 测试 的 不 同 种 类 ,可 以 将 缺陷 分 为 功能 类 缺陷 ,性 能 类 缺陷 .界面 类 缺陷 .安全 类 缺 
陷 等 。 一 般 来 说 ,有 一 种 测试 方法 就 有 一 种 对 应 的 缺陷 种 类 。 


6.3.4 缺陷 报告 


提供 准确 、 完 整 . 简 洁 , 一 致 的 缺陷 报告 是 体现 软件 测试 的 专业 性 、 高 质量 的 主要 评价 指 
标 。 软 件 测试 工程 师 必 须 认 识 到 书写 软件 缺陷 报告 是 测试 执行 过 程 的 一 项 重要 任务 ,首先 
要 理解 缺陷 报告 读者 的 期 望 ,遵照 缺陷 报告 的 写作 准则 ,书写 内 容 完备 的 软件 缺陷 报告 。 


1. 缺陷 报告 的 读者 对 象 


在 写 软件 缺陷 报告 之 前 ,需要 明白 缺陷 报告 的 直接 读者 是 软件 开发 人 员 和 质量 管理 人 
员 , 除 此 之 外 ,来 自 市 场 和 技术 支持 等 部 门 的 人 也 可 能 需要 查看 缺陷 情况 。 每 个 阅读 缺陷 报 
告 的 人 都 需要 理解 缺陷 针对 的 产品 和 使 用 的 技术 。 另 外 ,他 们 不 是 软件 测试 人 员 ,可 能 对 于 
具体 软件 测试 的 细节 了 解 不 多 。 

概括 起 来 ,缺陷 报告 的 读者 最 希望 获得 的 信息 包括 : 

* 易于 搜索 软件 测试 报告 的 缺陷 。 

* 对 报告 的 软件 缺陷 进行 了 必要 的 隔离 ,报告 的 缺陷 信息 更 具体 、 准 确 。 

* 软件 开发 人 员 希 望 获得 缺陷 的 本 质 特征 和 复 现 步 又 。 

”市 场 和 技术 支持 等 部 门 希望 获得 缺陷 类 型 分 布 以 及 对 市 场 和 用 户 的 影响 程度 。 

软件 测试 人 员 的 任务 之 一 就 是 需要 针对 读者 的 上 述 要求 ,书写 良好 的 软件 缺陷 报告 。 


2. 缺陷 报告 的 写作 准则 


书写 清晰 完整 的 缺陷 报告 是 对 保证 缺陷 得 到 正确 处 理 的 最 佳 手段 。 它 也 减少 了 工程 
师 以 及 其 他 质量 保证 人 员 的 后 续 工 作 。 

为 了 书写 更 优良 的 缺陷 报告 ,需要 遵守 “5C” 准 则 : 

。 Correct EWA): 每 个 组 成 部 分 的 描述 准确 ,不 会 引起 误解 。 
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* Clear( 清 晰 ) : 每 个 组 成 部 分 的 描述 清晰 ,易于 理解 。 

* Concise( 简 洁 ): 只 包含 必 不 可 少 的 信息 ,不 包括 任何 多 余 的 内 容 。 
* Complete( 完 整 ) : 包含 复 现 该 缺陷 的 完整 步骤 和 其 他 本 质 信息 。 
* Consistent( 一 致 ) : 按照 一 致 的 格式 书写 全 部 缺陷 报告 。 


3. 缺陷 报告 的 组 织 结构 


尽管 不 同 的 软件 测试 项 目 对 于 缺陷 报告 的 具体 组 成 部 分 不 尽 相 同 ,但 是 基本 组 织 结构 
都 是 大 同 小 异 的 。 一 个 完整 的 软件 缺陷 报告 通常 由 下 列 几 部 分 组 成 : 
缺陷 的 标题 。 
缺陷 的 基本 信息 。 
测试 的 软件 和 硬件 环境 。 
测试 的 软件 版 本 。 
缺陷 的 类 型 。 
缺陷 的 严重 程度 。 
缺陷 的 处 理 优先 级 。 
复 现 缺陷 的 操作 步骤 。 
缺陷 的 实际 结果 描述 。 
期 望 的 正确 结果 描述 。 
注释 文字 和 截取 的 缺陷 图 像 。 
对 于 具体 测试 项 目 而 言 ,缺陷 的 基本 信息 通常 是 比较 固定 的 ,也 是 很 容易 描述 的 。 实 际 
书写 软件 缺陷 报告 容易 出 现 问 题 的 地 方 就 是 标题 ,操作 步 又、 实际 结果 、 期 望 结果 和 注释 
部 分 。 


6.3.5 常用 的 缺陷 管理 工具 


缺陷 管理 属于 测试 管理 范畴 ,缺陷 管理 工具 也 属于 测试 管理 类 工具 ,所 以 ,测试 管理 工 
具 一 般 都 具有 缺陷 管理 功能 。 当 然 , 也 有 专门 提供 缺陷 管理 的 工具 。 下 面 列 举 一 些 国内 外 
比较 知名 的 缺陷 管理 软件 。 


1. JIRA 


JIRA 是 集 项 目 计划 、 任 务 分 配 、 需 求 管理 .错误 跟踪 于 一 体 的 商业 软件 。JIRA 创建 的 
问题 类 型 包括 New Feature, Bug, Task 和 Improvement 4 种 ,还 可 以 自 定 义 , 所 以 它 也 是 过 
程 管理 系统 。JIRA 融合 了 项 目 管理 、 任 务 管理 和 缺陷 管理 ,许多 著名 的 开源 项 目 都 采用 了 
JIRA. 

JIRA 是 目前 比较 流行 的 基于 Java 架构 的 管理 系统 ,在 开源 领域 ,其 认 知 度 比 其 他 的 产 
品 要 高 得 多 ,而 且 易 用 性 也 好 一 些 。 同 时 ,开源 则 是 其 另 一 特色 ,在 用 户 购买 其 软件 的 同时 ， 
也 就 将 源 代码 购置 进来 ,方便 做 二 次 开发 。 

JIRA 功能 全 面 ,界面 友好 ,安装 简单 ,配置 灵活 ,权限 管理 以 及 可 扩展 性 方面 都 十 分 
出 色 。 
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2. Mantis 


Mantis 是 一 款 开源 的 软件 缺陷 管理 工具 ,是 一 个 基于 PHP 技术 的 轻 量 级 缺陷 跟踪 系 
统 ,以 Web 操作 的 形式 提供 项 目 管理 及 缺陷 跟踪 服务 。 相 比 于 同类 型 的 其 他 软件 缺陷 管理 
工具 ,Mantis 的 功能 虽 不 是 很 强大 , 却 很 实用 ,完全 可 以 满足 中 小 型 项 目的 缺陷 管理 及 
跟踪 。 


3. Bugzilla 


Bugzilla 属于 产品 缺陷 跟踪 系统 中 的 一 种 ,创始 人 是 Terry Weissman, 最 初 是 使 用 一 种 
名 为 TCL 的 语言 创建 的 ,后 用 Perl 语言 实现 ,并 作为 Open source 发 布 。 

作为 一 个 产品 缺陷 的 记录 及 跟踪 工具 ,Bugzilla 能 够 为 你 建立 一 个 完善 的 Bug 跟踪 体 
系 ,包括 报告 Bug、 查 询 Bug 记录 并 产生 报表 、 处 理解 决 、 管 理 员 系 统 初始 化 和 设置 4 个 部 
分 。 并 具有 如 下 特点 : 

CD 基于 Web 方式 ,安装 简单 .运行 方便 快捷 、 管 理 安全 。 

(2) 有 利于 缺陷 的 清楚 传达 。 本 系统 使 用 数据 库 进 行 管理 ,提供 全 面 详尽 的 报告 输入 
项 ,产生 标准 化 的 Bug 报告 。 提 供 大 量 的 分 析 选 项 和 强大 的 查询 匹配 能 力 , 能 根据 各 种 条 
件 组 合 进行 Bug 统计 。 当 错误 在 它 的 生命 周期 中 变化 时 ,开发 人 员 、 测 试 人 员 及 管理 人 员 
将 及 时 获得 动态 的 变化 信息 ,允许 获取 历史 纪录 ,并 在 检查 错误 的 状态 时 参考 这 一 记录 。 

(3) 系统 灵活 ,强大 的 可 配置 能 力 。Buzilla 工具 可 以 对 软件 产品 设 定 不 同 的 模块 ,并 针 
对 不 同 的 模块 设 定制 订 的 开发 人 员 和 测试 人 员 ; 这 样 可 以 实现 提交 报告 时 自动 发 给 指定 的 
责任 人 ; 并 可 设 定 不 同 的 小 组 ,权限 也 可 划分 。 设 定 不 同 的 用 户 对 Bug 记录 的 操作 权限 不 
同 , 可 有 效 控制 管理 。 人 允许 设 定 不 同 的 严重 程度 和 优先 级 ,可 以 在 错误 的 生命 期 中 管理 错 
误 ,从 最 初 的 报告 到 最 后 的 解决 ,确保 了 错误 不 会 被 忽略 ,同时 可 以 使 注意 力 集中 在 优先 级 
和 严重 程度 高 的 错误 上 。 

(4) 自动 发 送 E-mail, 通 知 相关 人 员 。 根 据 设 定 的 不 同 责任 人 ,自动 发 送 最 新 的 动态 信 
息 , 有 效 地 帮助 测试 人 员 和 开发 人 员 进 行 沟 通 。 


4. Rational ClearQuest 


Rational ClearQuest 是 基于 团队 的 缺陷 和 变更 跟踪 解决 方案 , 它 包 含 在 Rational Suite 
中 。 它 的 强大 之 处 和 显著 特点 表现 在 以 下 几 个 方面 : 

CD 支持 数据 库 MS ACCESS 和 SQL SERVER 6.5。 

(2) 拥有 可 完全 定制 的 界面 和 工作 流程 机 制 , 能 适用 于 任何 开发 过 程 。 

(3) 可 以 更 好 地 支持 最 常见 的 变更 请 求 (包括 缺陷 和 功能 改进 请 求 ), 并 且 便 于 对 系统 
做 进一步 的 定制 ,以 便 管理 其 他 类 型 的 变更 。 

(4) 提供 了 一 个 可 靠 的 集中 式 系统 ,该 系统 与 配置 管理 .自动 测试 .需求 管理 和 过 程 指 
导 等 工具 相 集成 ,使 项 目 中 每 个 人 都 可 以 对 所 有 变更 发 表意 见 , 并 了 解 其 变化 情况 。 

(5) 5j Rational 的 软件 管理 工具 ClearCase 完全 集成 ,让 用 户 充分 掌握 变更 需求 情况 。 

(6) 能 适应 所 需 的 任何 过 程 、 业 务 规则 和 命名 约定 。 可 以 使 用 ClearQuest 预先 定义 的 
过 程 表单 和 相关 规则 ,或 者 ClearQuestDesigner 来 定制 一 一 几乎 系统 的 所 有 方面 都 可 以 定 
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制 ,包括 缺陷 和 变更 请 求 的 状态 转移 生命 周期 .数据库 字 段 、 用 户 界面 布局 ,报表 、 图 表 和 查 
询 等 。 

(7) 强大 报告 和 图 表 功 能 ,使 用 户 能 直观 ,简便 地 使 用 图 形 工具 定制 所 需 的 报告 查询 
和 图 表 。 用 户 可 深入 分 析 开 发 现状 。 

(8) 自动 电子 邮件 通知 无 须 授 权 的 Web 登录 以 及 对 Windows, UNIX 和 Web 的 内 在 
支持 ,ClearQuest 可 以 确保 团队 中 的 所 有 成 员 ,都 被 纳入 缺陷 和 变更 请 求 的 流程 中 。 


5. TestDirector 


TestDirector 是 全 球 最 大 的 软件 测试 工具 提供 商 Mercury Interactive 公司 生产 的 企业 
级 测试 管理 工具 ,也 是 业界 第 一 个 基于 Web 的 测试 管理 系统 , 它 可 以 在 公司 内 部 或 外 部 进 
行 全 球 范围 内 测试 的 管理 。 在 一 个 整体 的 应 用 系统 中 集成 了 测试 管理 的 各 个 部 分 ,包括 需 
求 管理 ,测试 计划 ,测试 执行 以 及 错误 跟踪 等 功能 。 


6. OAMonitor 


软件 质量 监控 系统 QAMonitor, 作 为 北京 航空 航天 大 学 科技 开发 部 的 推广 项 目 , 是 一 
个 实时 地 记录 和 管理 测试 阶段 信息 的 软件 开发 支持 工具 。 它 将 信息 在 软件 开发 小 组 内 , 即 
在 管理 人 员 、 开 发 人 员 ,测试 人 员 和 其 他 相关 人 员 之 间 方 便 地 进行 传递 。 这 些 信息 包括 所 发 
现 的 软件 问题 的 描述 信息 ,软件 问题 处 理 的 进度 信息 等 。 

使 用 QAMonitor 来 管理 测试 信息 ,便于 对 软件 质量 进行 分 析 和 评估 ,并 指导 软件 质量 
保证 工作 。 对 于 不 同 工 作 类 型 的 人 员 , QAMonitor 都 可 以 为 他 们 产生 相关 的 统计 数据 。 
QAMonitor 的 功能 主要 如 下 : 

(1) 管理 项 目 组 中 用 户 的 级 别 和 权限 。 

(2) 报告 软件 缺陷 的 类 别 和 严重 程度 ; 报告 软件 缺陷 处 理 过 程 的 进展 状态 。 

(3) 支持 电子 邮件 服务 ,方便 地 进行 信息 的 传递 。 

CD 查询 和 统计 缺陷 记录 。 

(5) 生成 数据 报表 和 统计 图 形 。 

该 系统 虽然 使 用 起 来 很 方便 ,但 是 存在 以 下 问题 : 

(1) 使 用 的 是 Excel 97 ,很 容易 损坏 ,即使 可 以 修复 也 会 丢失 记录 ,所 以 一 定 要 每 天 做 
备份 。 

(2) 使 用 过 程 中 服务 器 端 必须 完全 共享 测试 文件 ,可 能 引起 病毒 等 问题 。 

(3) 必须 安装 客户 端 ,现在 的 趋势 应 该 是 使 用 Web 方式 的 。 

(4) 客户 端 和 其 他 的 程序 可 能 会 有 冲突 。 

(5) 无 法 自 定义 一 些 选项 ,流程 过 于 僵化 。 


6.4 测试 文档 管理 


6.4.1 软件 测试 文档 标准 
软件 测试 文档 (Software Test Document) 是 整个 测试 活动 中 的 重要 文件 , 它 描述 和 记 
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录 测 试 活动 的 全 过 程 ,为 测试 项 目的 组 织 、 规 划 和 管理 提供 一 个 架构 。 

在 测试 的 前 期 和 测试 过 程 中 都 需要 建立 相应 的 测试 文档 ,并 根据 需求 的 变更 及 时 调整 
测试 文档 。 

为 统一 测试 文档 的 书写 标准 ,IEEE/ANSI 制定 了 829 一 1983 标准 ,我 国 也 制定 了 《计算 
机 软件 测试 文档 编制 规范 )GB/T 9386 一 1988( 修 订 版 为 9386 一 2008)。 

标准 化 的 测试 文件 就 如 同一 种 通用 的 参照 体系 ,可 达到 便于 交流 的 目的 。 文 件 中 所 规 
定 的 内 容 可 以 作为 对 测试 过 程 完 备 性 的 对 照 检查 表 , 故 采用 这 些 文件 将 会 提高 测试 过 程 的 
每 个 阶段 的 能 见 度 , 极 大 地 提高 测试 工作 的 可 管理 性 。 


6.4.2 计算 机 软件 测试 文档 编制 规范 (GB/T 9386 一 1988) 


《计算 机 软件 测试 文档 编制 规范 》(GB/T 9386 一 1988) 是 为 软件 管理 人 员 ,软件 开发 , 测 
试 和 维护 人 员 ,软件 质量 保证 人 员 ,审核 人 员 、 客 户 及 用 户 制 定 的 。 

本 标准 用 于 描述 一 组 与 软件 测试 实施 方面 有 关 的 基本 测试 文档 。 本 标准 定义 每 一 种 基 
本 文档 的 目的 ,格式 和 内 容 。 尽 管 本 标准 所 描述 的 文档 侧重 于 动态 测试 内 容 , 但 是 有 些 文档 
仍 适合 于 其 他 种 类 的 测试 活动 (例如 测试 计划 可 用 于 设计 和 代码 评审 ) 。 


1. GB/T 9386—1988 的 主要 内 容 


GB/T 9386—1988 标准 规定 了 各 个 测试 文档 的 格式 和 内 容 。 主 要 涉及 测试 计划 ,测试 
说 明和 测试 报告 等 。 

测试 计划 描述 测试 活动 的 范围 方法、 资源 和 进度 。 它 规定 被 测试 的 项 .被 测试 的 特征 、 
应 完成 的 测试 任务 .负责 每 项 工作 的 人 员 以 及 与 本 计划 有 关 的 风险 等 。 

测试 说 明 包 括 三 类 文档 : 

CD 测试 设计 说 明 : 详细 描述 测试 方法 ,并 标识 该 测试 设计 和 相关 测试 所 覆盖 的 特征 ， 
还 标识 为 完成 测试 和 规定 特征 的 通过 准则 所 需要 的 测试 用 例 和 测试 规程 。 

(2) 测试 用 例 说 明 : 将 用 于 输入 的 实际 值 以 及 预期 的 输出 形成 文档 。 并 标识 在 使 用 具 
体 测试 用 例 时 对 测试 规程 的 约束 。 将 测试 用 例 与 测试 设计 分 开 , 可 以 使 它们 用 于 多 个 设计 ， 
并 能 在 其 他 情况 下 重复 使 用 。 

(3) 测试 规程 说 明 : 标识 为 实施 相关 测试 设计 而 运行 系统 并 执行 规定 测试 用 例 所 要 求 
的 所 有 步骤 。 测 试 规程 与 测试 设计 分 开 , 特 意 明 确 要 遵循 的 步骤 ,而 不 宜 含 有 无 关 的 细节 。 

测试 报告 包括 4 类 文档 : 

(1) 测试 项 传递 报告 。 

(2) 测试 日 志 。 

(3) 测试 事件 报告 。 

(4) 测试 总 结 报告 。 

这 些 文档 之 间 的 关系 以 及 同 测试 过 程 的 对 应 关系 如 图 6-2 所 示 。 


2. 引用 标准 


GB 8566《 计 算 机 软件 开发 规范 》。 
GB 8567《 计 算 机 软件 产品 开发 文件 编制 指南 》。 
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图 6-2 测试 文档 与 测试 过 程 的 关系 
GB/T 11457《 软 件 工程 术语 》。 
3. 术语 定义 


CD 设计 层 (Design Level): 软件 项 的 设计 分 解 (如 系统 、 子 系统 ,程序 或 模块 )。 

(2) 通过 准则 (Pass Criteria): 判断 一 个 软件 项 或 软件 特性 的 测试 是 否 通过 的 判别 
依据 。 

(3) 软件 特性 (Software Feature) : 软件 项 的 显著 特性 (如 功能 、 性 能 或 可 移植 性 等 ) 。 

(4) 软件 项 (Software Item) ; 源 代码 、 目 标 代码 、 作 业 控 制 代码 ,控制 数据 或 这 些 项 的 
集合 。 

(5) 测试 项 (Test Item) : 作为 测试 对 象 的 软件 项 。 
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4. 文档 编制 实施 及 使 用 指南 


1) 实施 指南 

在 实施 测试 文件 编制 的 初始 阶段 可 先 编写 测试 计划 与 测试 报告 文件 。 测 试 计 划 将 为 整 
个 测试 过 程 提供 基础 ; 测试 报告 将 鼓励 测试 单位 以 良好 的 方式 记录 整个 测试 过 程 的 情况 。 

经 过 一 段 时 间 的 实践 ,积累 了 一 定 的 经 验 之 后 再 逐步 引进 其 他 文件 。 测 试 文件 编制 最 
终 将 形成 一 个 相应 于 设计 层 的 文件 层次 , 即 系统 测试 文件 . 子 系统 测试 文件 及 模块 测试 文件 
等 。 在 本 单位 所 使 用 的 特定 的 测试 技术 的 文件 编制 可 作为 正文 中 所 述 的 基本 文件 集 的 
补充 。 

2) 用 法 指南 

在 项 目 计划 及 单位 标准 中 ,应 该 指明 在 哪些 测试 活动 中 需要 哪些 测试 文件 ,并 可 在 文件 
中 加 入 一 些 内 容 , 使 各 个 文件 适应 一 个 特定 的 测试 项 及 一 个 特定 的 测试 环境 。 

表 6-2 是 在 多 种 测试 活动 中 所 需 的 测试 文件 的 实例 ,所 需 的 文件 数量 将 因 单 位 而 异 。 

表 6-2 ”测试 文件 编制 实例 


文件 | “| 测试 设 | 测试 用 | 测试 规 | 测试 项 传 测试 事 | 测试 总 

活动 测试 计划 | 计 说 明 | 例 说 明 | mum | 过 报告 | 测试 日 志 | 件 报告 | 结 报 告 
验收 J J J 可 J - J 3l 
安装 J J = al = J 3! 
系统 J y Jj JV ~ J 4f 3 
子 系统 = = J J J xl J J 
模块 E Ji J J 


6.4.3 测试 文档 类 型 


依据 (计算 机 软件 测试 文档 编制 规范 》(GB/T 9386 一 1988) ,测试 文档 共有 8 种 ,它们 
是 ; 测试 计划 ,测试 设计 说 明 ,测试 用 例 说 明 ,测试 规程 说 明 测试 项 传递 报告 测试 日 志 、 测 
试 事件 报告 和 测试 总 结 报告 。 对 于 每 个 文件 而 言 ,都 包含 若干 章节 ,其 内 部 各 章 应 按 指定 的 
次 序 排列 ,补充 的 章节 放 在 最 后 或 放 在 “批准 "一 章 的 前 面 。 

若 某 章节 的 部 分 或 全 部 内 容 在 另 一 个 文件 中 , 则 应 在 相应 的 内 容 位 置 上 列 出 所 引用 的 
材料 。 引 用 的 材料 必须 附 在 该 文件 后 ,或 交 给 文件 的 使 用 者 。 


(6.5 测试 过 程 管理 
2 


软件 的 测试 过 程 一 般 分 为 测试 计划 ,测试 设计 与 开发 ,测试 实施 、 测 试 评审 和 测试 总 结 
等 阶段 。 对 每 个 阶段 的 任务 ,输入 和 输出 都 有 明确 的 规定 ,以 便 对 整个 测试 过 程 进行 质量 控 
制 和 配置 管理 。 

软件 测试 过 程 遵循 GB/T 18905. 5《 评 价 者 用 的 过 程 ) 中 定义 的 软件 评价 过 程 模 型 ,是 
软件 测试 管理 的 精髓 。GB/T 18905. 5《 评 价 者 用 的 过 程 ) 描 述 的 过 程 定义 了 分 析 各 类 软件 
产品 的 评价 需求 ,规定 \ 设 计 和 实施 评价 ,并 对 评价 做 出 结论 所 需 的 各 种 活动 。 本 节 简 要 介 
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绍 国家 标准 GB/T 18905. 5《 评 价 者 用 的 过 程 ), 并 给 出 评价 过 程 管理 的 内 容 和 基本 原则 。 
6.5.1 《评价 者 用 的 过 程 )GB/T 18905.5 简介 


GB/T 18905 一 2002《 软 件 工程 产品 评价 ) 分 为 6 个 部 分 : 

。 第 1 部 分 : 概述 。 

。 第 2 部 分 : 策划 和 管理 。 

。 第 3 部 分 : 开发 者 用 的 过 程 。 

。 第 4 部 分 : 需 方 用 的 过 程 。 

。 第 5 部 分 : 评价 者 用 的 过 程 。 

。 第 6 部 分 : 评价 模块 的 文档 编制 。 

本 部 分 为 GB/T 18905 一 2002 的 第 5 部 分 ,等 同 采用 ISO/IEC 14598 一 5:1999《 信 息 技 
术 软 件 产品 评价 第 5 部 分 : 评价 者 用 的 过 程 )( 英 文 版 )。 

本 部 分 在 有 关 各 方 需要 理解 .接受 和 信任 评价 结果 时 ,为 具体 实施 软件 产品 评价 提供 需 
求 和 建议 。 特 别 是 ,本 部 分 用 来 实现 GB/T 16260 所 描述 的 概念 。 

本 部 分 描述 的 过 程 定义 了 分 析 各 类 软件 产品 的 评价 需求 .规定 、 设 计 和 实施 评价 ,并 对 
评价 做 出 结论 所 需 的 各 种 活动 。 

假定 要 求 的 产品 部 件 可 以 获得 的 话 , 评 价 过 程 可 用 来 评价 现 有 的 产品 ,或 评价 正在 开发 
的 产品 。 对 正在 开发 的 产品 ,评价 过 程 需要 与 软件 开发 过 程 同 步 ,并 且 在 交付 产品 部 件 时 对 
其 进行 评价 。 

本 部 分 可 供 下 列 人 员 使 用 : 

。 提供 软件 评价 服务 的 测试 实验 室 的 评价 者 。 

。 策划 产品 的 评价 ,包括 通过 独立 测试 服务 部 门 实施 评价 的 软件 的 供 方 。 

。 需要 从 供 方 或 测试 服务 部 门 得 到 评价 信息 的 软件 的 需 方 。 

。 评价 产品 或 使 用 测试 实验 室 提供 的 评价 报告 的 软件 的 用 户 。 

。 对 软件 产品 定义 新 的 认证 模式 时 的 认证 机 构 。 


6.5.2 评价 与 生存 周期 的 关系 


评价 软件 产品 可 以 在 任何 生存 周期 过 程 的 范围 内 进行 。 特 别 是 ,评价 能 在 获取 、 供 应 、 
开发 .运行 或 维护 过 程 中 出 现 。 

在 产品 开发 过 程 中 可 尽早 决定 是 否 执行 软件 产品 的 评价 。 如 果 在 开发 过 程 的 开始 阶段 
能 定 下 这 件 事 , 就 有 可 能 把 评价 要 执行 的 测量 和 测试 放 入 软件 开发 的 过 程 中 。 这 样 能 确保 
产品 最 大 可 能 地 满足 有 关 评 价 结果 的 所 有 需求 ,降低 额外 风险 和 未 预料 的 成 本 。 

当 请 求 者 也 是 产品 的 开发 者 时 ,及 早 与 评价 者 联系 讨论 打算 提交 一 个 产品 用 于 评价 ,会 
有 助 于 开发 者 预见 评价 者 可 能 提出 的 任何 特殊 要 求 ( 例 如 可 能 需要 的 特殊 文档 或 证 据 ) 。 

可 能 有 某 些 (或 全 部 ?评价 动作 必须 在 现场 实施 ,而 不 是 在 评价 者 所 在 地 完成 。 在 这 种 
情况 下 ,为 保证 结果 是 公正 的 ,这 些 动作 仍 受 评价 者 的 控制 。 

对 于 大 而 复杂 的 软件 项 目 开发 者 来 说 ,在 整个 产品 的 开发 期 间 ,开发 者 与 评价 者 不 断 密 
切合 作 是 很 有 益 的 ,这 将 减少 评价 过 程 的 成 本 和 时 间 。 但 这 种 合作 应 不 降低 评价 者 的 公 


em ”软件 测试 管理 


na 

图 6-3 是 评价 的 基本 过 程 ,这 里 可 以 把 * 评 价 ? 与 “测试 等 同 理解 。 图 中 实 线 框 内 的 是 
测试 过 程 ,虚线 标注 框 中 是 相应 过 程 中 产生 的 信息 流 。 软 件 测试 过 程 中 ,输入 有 两 个 : 请 求 
者 的 输入 和 测试 者 的 输入 ; 输出 也 有 两 个 : 测试 记录 和 经 评审 的 测试 报告 。 


人 请 求 者 的 需求 ) 测试 需求 ) 
人 ~i | 确立 测试 | “2z- 一 一 
ER 
人 产品 说 明 1 n 
请 求 者 的 |、 ~ 人 一 一” 人 测试 规格 说 明 ， 
输入 - E E 
测试 规格 | 2 
让 | -| dB) [| 2----- 
d 1 测试 计 M ----- 
1 软件 部 件 1 Vest 
| 测试 设计 | M 
t% 
DELT 1 测试 方法 ， 1 六 测试 结果 Y 
(预先 确定 的 | [077 ! WR l 
1 测试 规格 全 测试 mec 
m Tm 试 结论 Paa 


图 6-3 软件 测试 过 程 


6.6 软件 测试 组 织 及 管理 


一 个 软件 企业 的 良性 发 展 ,必须 关注 组 织 、 流 程 和 人 三 者 的 关系 。 组 织 是 流程 成 功 实施 
的 保障 ,好 的 组 织 结构 能 够 有 效 地 促进 流程 的 实施 ; 流程 对 于 产品 的 成 功 起 着 关键 的 作用 ， 
一 个 适合 于 组 织 特点 和 产品 特点 的 流程 能 够 极 大 地 提高 产品 开发 的 效率 和 产品 质量 。 对 于 
企业 来 说 ,人 是 最 宝贵 的 财富 ,是 技术 的 承载 者 。 组 织 、 流 程 和 人 是 一 个 企业 成 功 的 必 备 要 
素 ,理想 的 情况 下 能 够 相互 促进 。 


6.6.1 测试 组 织 模型 


测试 组 织 模块 主要 有 三 种 : 以 开发 为 主 的 组 织 模式 、 以 项 目 为 主 的 组 织 模式 和 测试 独 
立 的 组 织 模式 。 


1. 以 开发 为 主 的 组 织 模式 


这 种 模式 以 开发 为 核心 ,测试 是 开发 队伍 中 的 一 部 分 ,测试 人 员 向 项 目 经 理 汇报 。 在 这 
种 组 织 中 ,开发 人 员 除 了 负责 设计 的 实现 外 ,还 需 参 与 编写 需求 ,也 即 某 些 开 发 人 员 承 担 着 
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双重 或 多 重 的 角色 。 项 目 经 理 统管 整个 项 目 , 除 了 开发 任务 的 管理 ,还 要 关注 资源 分 配 , 人 
员 调 配 等 。 通 常 ,在 开发 公司 的 发 展 初期 会 有 这 种 情况 ,图 6-4 是 以 开发 为 主 的 组 织 模式 。 

在 这 种 组 织 模式 中 ,测试 人 员 向 项 目 经 理 汇报 项 目的 测试 结果 ,开发 人 员 向 项 目 经 理 汇 
报 进度 与 质量 ,出 于 自身 任务 和 担任 角色 的 考虑 ,两 者 不 可 能 把 最 真实 的 项 目 质量 情况 反映 
给 项 目 经 理 。 另 外 ,在 有 紧急 任务 时 ,项目 主管 会 要 求 测试 人 员 去 做 协助 开发 的 调试 工作 。 
出 于 对 项 目 整体 的 考虑 ,项 目 经 理 还 会 安排 测试 人 员 充 当 多 种 角色 ,如 软件 部 门 的 配置 管理 
JA ,软件 帮助 文档 ,手册 的 编写 者 等 。 

在 这 种 情况 下 ,测试 小 组 在 整个 部 门 乃 至 在 项 目 中 的 影响 将 越 来 越 小 ,测试 人 员 渴 望 转 
为 开发 人 员 。 随 着 时 间 的 流逝 ,测试 组 织 非但 壮大 不 起 来 ,反而 可 能 消失 。 


项 目 经 理 (rert) 测试 主管 
fem frm fezm fem 
64 以 开发 为 主 的 组 织 模式 6-5 以 项 目 为 主 的 组 织 模式 


2. 以 项 目 为 主 的 组 织 模式 


以 项 目 为 主 的 组 织 模式 如 图 6-5 Br zs ,开发 小 组 与 测试 小 组 并 存 , 由 项 目 经 理 领 导 , 每 
个 小 组 都 有 各 自 的 主管 。 这 种 模式 对 于 项 目 经 理 来 说 是 有 利 的 ,项 目 经 理 不 管 你 是 什么 专 
业 方向 ,对 他 来 说 都 是 资源 工具 ,是 完成 公司 交 给 他 这 项 任务 必需 的 工具 ,他 主要 关注 本 项 
目的 进度 与 质量 。 

这 种 模式 资源 稳定 ,整个 项 目 团队 凝聚 力 高 ,大 家 目标 一 致 有 利于 项 目的 成 功 。 另 外 ， 
测试 团队 地 位 提高 了 ,有 利于 测试 队伍 的 稳定 。 测 试 主管 与 开发 主管 是 同 级 ,隶属 同一 个 项 
目 经 理 管辖 ,这 也 意味 着 测试 主管 可 以 对 资金 与 预算 进行 平等 的 竞争 。 


3. 测试 独立 的 组 织 模式 


如 图 6-6 所 示 ,测试 独立 的 组 织 模式 中 ,项 目 经 理 、 开 发 经 理 , 测 试 经 理 并 行 ,测试 组 织 
具有 真正 意义 上 的 独立 ,具有 权威 的 地 位 。 当 项 目 增加 时 ,可 以 根据 需要 自由 增加 人 力 、 技 
术 的 预算 。 向 上 级 汇报 时 ,除了 可 以 如 实 汇报 外 ,测试 经 理 还 可 以 根据 产品 的 质量 状态 提出 
有 建设 性 的 意见 或 建议 ,管理 部 门 会 用 完全 开放 的 心态 听取 来 自 测试 状态 的 报告 。 测 试 在 
研发 系统 中 的 影响 力 大 ,这 是 测试 组 织 管理 的 最 佳 模式 。 

这 种 模式 还 有 一 个 显著 特点 就 是 ,测试 人 员 对 测试 部 门 负责 ,一 个 人 可 以 同时 服务 于 多 
个 项 目 。 也 就 是 说 ,对 于 项 目 来 说 ,资源 是 不 固定 的 ,这 对 于 技术 平台 化 积累 是 很 有 效 的 。 


6.6.2 测试 团队 管理 
要 做 好 测试 工作 ,必须 建立 并 维护 一 个 高 效 的 测试 团队 。 测 试 专家 指出 ,人 的 特点 和 与 
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项 目 经 理 】 (Grem) D) 
(开发 主管 ] Grieze) (reze) 。 (开发 主管 ] 
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6-6 ”测试 独立 的 组 织 模式 


人 相关 的 活动 是 软件 开发 改进 中 最 具 潜 力 的 部 分 。 换 言 之 ,人 的 因素 比 任何 其 他 因素 对 工 
作 效 率 的 影响 都 大 。 


1. 测试 人 员 的 素质 要 求 


人 是 测试 工作 中 最 有 价值 也 是 最 重要 的 资源 ,没有 一 个 合格 的 、 积 极 的 测试 团队 ,测试 
就 不 可 能 实现 。 为 高 质 高 效 地 完成 测试 任务 ,好 的 测试 者 应 具有 如 下 能 力 。 

测试 人 员 的 技术 素质 要 求 : 

1) 软件 开发 技术 

做 软件 测试 工作 当然 要 一 定 程度 地 掌握 所 测试 软件 应 用 的 开发 技术 。 一 方面 ,对 开发 
技术 比较 了 解 能 使 测试 人 员 更 有 效 地 发 现 程序 中 的 Bug, 并 进行 有 效 地 分 析 , 以 帮助 开发 人 
员 更 快 地 进行 定位 和 修改 ; 另 一 方面 ,很 多 测试 工作 本 身 需 要 编码 技术 ,例如 单元 测试 和 集 
成 测试 ,经 常 需要 构造 驱动 和 桩 程序 ,如 果 测 试 人 员 开 发 技术 水 平 很 低 , 就 根本 无 法 胜任 这 
些 测试 工作 。 另 外 ,软件 测试 经 常 需要 自主 开发 测试 工具 。 

2) 软件 测试 技术 

软件 测试 本 身 就 是 一 门 学 问 , 它 是 软件 测试 人 员 的 “独门 专业 ”"。 只 有 掌握 了 软件 测试 
技术 ,测试 工作 才能 更 有 效 地 实施 和 管理 ; 只 有 掌握 了 软件 测试 技术 ,才能 更 早 、 更 快 .更 有 
效 地 找 出 软件 中 的 缺陷 ; 只 有 掌握 了 软件 测试 技术 ,才能 用 更 科学 的 方法 验证 软件 是 否 满 
足 用 户 需 求 , 才 能 成 为 提高 软件 质量 的 重要 手段 之 一 。 

测试 人 员 除了 要 掌握 和 了 解 测试 行业 本 身 需 要 的 测试 技术 以 外 ,还 要 针对 不 同 项 目的 
需求 掌握 一 些 通用 测试 方法 和 技巧 ,而 且 要 把 自己 的 经 验 不 断 总 结 出 来 ,共享 技术 与 经 验 ， 
以 期 使 测试 中 心 整体 技术 水 平 得 以 迅速 提升 。 

3) 软件 工程 方面 能 力 

软件 测试 活动 几乎 贯穿 软件 开发 全 过 程 ,那么 就 要 求 测试 人 员 ,尤其 是 测试 负责 人 ,要 
对 软件 工程 有 较 深 的 认识 。 使 软件 测试 工作 既 严格 遵从 项 目 计划 ,又 符合 软件 开发 和 测试 
的 流程 规范 。 

4) 行业 知识 

既然 我 们 非常 重视 用 户 需求 ,并 把 软件 质量 的 重点 放 在 了 用 户 满意 的 程度 上 ,那么 了 解 
用 户 需 求 对 于 测试 人 员 就 显得 尤为 重要 。 

测试 人 员 的 非 技 术 素 质 要 求 : 
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1) 自信 心 

测试 者 必须 对 测试 工作 的 价值 具有 足够 的 信心 ,不 会 因 开发 者 指责 测试 结果 没有 意义 
而 影响 工作 情绪 。 

2) 怀疑 精神 

怀疑 精神 是 指 测试 人 员 对 任何 可 能 出 错 的 地 方 都 亲自 测试 一 番 , 不 听信 开发 人 员 毫 无 
意义 的 保证 ,坚持 实事 求 是 的 工作 作风 。 

怀疑 不 是 敌意 。 测 试 者 不 能 按 外 在 表现 接受 事物 ,必须 执著 地 对 一 切 提出 疑问 直到 被 
证 实 。 
3) 沟通 能 力 
一 名 理想 的 测试 者 必须 能 够 同 测试 涉及 的 所 有 人 进行 沟通 ,具有 与 技术 开发 者 和 客户 、 
管理 人 员 等 非 技术 人 员 的 交流 能 力 。 

测试 人 员 在 与 其 他 人 员 交 流 的 时 候 , 要 注意 自己 的 辞 令 和 行为 方式 ,不 要 刻意 夸大 错误 
的 严重 性 ,也 不 要 碍 于 面子 替 开发 人 员 掩饰 重 大 程序 错误 。 

4) 技术 能 力 

测试 团队 需要 许多 领域 的 专家 ,诸如 数据 库 、 通 信 、 网 络 .GUI 测试 .测试 工具 自动 化 
测试 脚本 和 相关 业务 领域 的 专家 。 因 此 ,测试 者 必须 拥有 一 项 或 多 项 技术 专长 。 

5) 自我 督促 

测试 工作 很 容易 使 人 变 得 懒散 。 只 有 那些 具有 自我 督促 能 力 的 人 才能 够 使 自己 每 天 正 
常 地 工作 。 

6) 洞察 力 

一 个 好 的 测试 者 具有 “测试 是 为 了 破坏 ”的 观点 .捕获 用 户 观 点 的 能 力 ,强烈 的 质量 追求 
和 对 细节 的 关注 能 力 。 应 用 高 风险 区 的 判断 能 力 以 便 将 有 限 的 测试 针对 重点 环节 。 

7) 组 织 技能 

每 当 执行 一 个 软件 项 目的 测试 计划 ,几乎 都 会 遇 到 至 少 会 阻碍 一 些 测试 而 必须 要 解决 
的 缺陷 。 一 个 测试 者 应 当 能 灵活 地 停止 测试 产品 的 一 部 分 而 开始 测试 其 他 部 分 。 灵 活 , 即 
能 够 快速 地 转 到 测试 一 个 新 产品 上 ,甚至 为 了 另 一 个 优先 级 较 高 的 产品 而 放下 手头 正在 测 
试 的 产品 。 

8) 学 习 能 力 

拥有 对 新 技术 的 热情 和 宽广 的 知识 面 ,而 且 能 不 断 更 新 知识 ,快速 地 学 习 新 技术 。 

9) 计划 能 力 

计划 是 一 个 动词 。 测 试 人 员 必 须 通 过 理解 技术 和 产品 及 开发 组 织 方式 ,从 自己 和 其 他 
人 的 错误 中 吸取 经 验 以 及 在 设计 必须 改变 和 出 问题 的 时 候 迅速 调整 ,使 测试 效果 和 效率 最 
大 化 。 


2. 测试 人 员 的 职责 


1) 测试 经 理 的 主要 职责 

测试 经 理 是 整个 项 目 中 最 关心 项 目 质量 的 人 .他 的 主要 工作 就 是 找到 项 目 中 存在 的 不 合 
理 , 不 合格 的 部 分 ,并 要 求 项 目 其 他 成 员 按 其 给 定 的 项 目 质 量 完成 项 目 。 他 的 主要 职责 如 下 : 

。 独立 编写 测试 计划 。 
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独立 编写 测试 用 例 。 

。 协调 测试 团队 内 部 的 工作 以 及 与 开发 团队 之 间 的 工作 。 

t 完成 “执行 测试 的 工作 。 

掌握 较 深层 次 的 测试 方法 ,测试 技术 和 较 复杂 的 业务 流程 。 

负责 测试 过 程 工 具 的 研究 、 推 广 与 维护 ,负责 测试 数据 库 维护 工作 。 
。 负 责编 写 ( 用 户 手 册 》《 操 作 手 册 》 和 相关 培训 教材 。 

。 负责 项 目的 质量 审查 。 

2) 测试 工程 师 的 主要 职责 

测试 工程 师 是 项 目 质量 的 保证 ,是 最 终 进 行 项 目测 试 的 成 员 。 他 的 主要 职责 如 下 : 
* 在 测试 经 理 的 安排 和 指导 下 ,编写 测试 用 例 。 

在 测试 经 理 的 安排 和 指导 下 ,完成 “执行 测试 ”的 工作 。 

* 在 测试 经 理 的 指导 下 , 按 测试 计划 进行 测试 工作 。 

。 按 测试 用 例 进行 测试 工作 。 

负责 被 分 派 项 目的 质量 审计 。 

了 解 项 目的 基本 流程 ,可 以 熟练 地 进行 项 目 中 各 种 流程 的 操作 。 


3. 测试 团队 制度 建设 


良好 的 制度 可 以 规范 测试 团队 的 工作 开展 ,同时 也 便于 对 团队 成 员 进 行业 绩 考 评 。 相 
反 , 则 很 有 可 能 导致 人 心 澳 散 ,滋长 负面 风气 。 建 设 良好 的 测试 团队 制度 ,可 以 考虑 以 下 几 
个 方面 : 

1) 汇报 制度 

团队 成 员 汇 报 本 周 工作 情况 及 下 周 工作 计划 、. 遇 到 的 问题 以 及 需要 提供 的 帮助 ,培养 团 
队 成 员 的 汇报 及 计划 习惯 。 

2) 工作 总 结 制度 

成 员 每 个 阶段 汇报 上 阶段 的 工作 经 验 和 教训 ,并 在 部 门 例会 上 交流 、 分 享 经 验 及 教训 ， 
避免 同样 的 问题 重复 出 现 。 

3) 奖惩 制度 

对 于 贡献 突出 的 成 员 予 以 奖励 ,对 于 业绩 差 的 成 员 提 出 批评 ,有 效 地 保持 测试 团队 的 工 
作 热 情 。 

4) 测试 件 审核 制度 

对 测试 件 进 行 审核 ,去 粗 存 精 ,鼓励 测试 人 员 使 用 并 提出 改进 ,保证 提交 到 测试 团队 知 
识 库 的 测试 件 的 质量 。 

5) 会 议 制度 

定期 召开 部 门 例会 ,讨论 ,解决 工作 中 的 问题 ,并 提供 部 门 内 的 学 习 平台 。 


6.7 软件 配置 管理 


软件 配置 管理 (Software Configuration Management,SCM) ,是 软件 工业 化 开发 和 工程 
化 管理 的 基本 手段 ; 是 为 减少 软件 开发 中 出 现 混乱 ,使 得 软件 开发 过 程 有 序 化 、 可 管理 的 现 
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实 、 可 靠 的 手段 ; 是 为 保证 软件 配置 项 的 完整 性 和 正确 性 ,在 整个 软件 生命 周期 内 应 用 配置 
管理 的 过 程 。 通 常 包括 配置 标识 ,配置 控制 .配置 状态 记 实 \ 配 置 评价 .软件 发 行 管理 和 交 
付 等 。 

SCM 是 一 种 按 规则 实施 的 管理 软件 开发 和 维护 过 程 以 及 其 软件 产品 的 方法 。SCM 是 
一 套用 于 在 开发 和 维护 的 各 个 阶段 管理 各 种 程序 中 间 产 品 的 规则 。 


6.7.1 配置 管理 的 基本 术语 


1. 配置 控制 委员 会 (Configuration Control Board,CCB) 


配置 控制 委员 会 是 指 由 技术 和 管理 专家 组 成 的 ,对 配置 及 其 管理 具有 决策 权限 和 职责 
的 小 组 。 配 置 控制 委员 会 由 相关 的 管理 和 技术 人 员 组 成 ,实施 软件 技术 状态 控制 。 

可 根据 组 织 和 任务 建立 多 级 CCB 管理 ,上 级 CCB 负责 协调 下 级 各 部 门 CCB 的 关系 ， 
各 级 CCB 将 负责 不 同 规模 ,不 同 领 域 .不 同 阶段 .不 同 程度 的 软件 配置 控制 。 


2. 软件 配置 项 (Software Configuration ltem,SCI) 


软件 配置 项 是 为 了 配置 管理 的 目的 而 作为 一 个 基本 的 独立 单位 被 看 待 的 软件 成 分 , 通 
常 是 软件 配置 中 的 一 个 元 素 。 

它 包括 源 代码 、 目 标 码 数据库 及 文档 测试 用 例 软件 工具 、 可 复 用 软件 、 外 购 软件 、 用 户 
提供 的 软件 等 。 

在 多 数 的 软件 配置 管理 系统 中 ,最 基本 的 软件 配置 项 是 以 磁盘 文件 的 形式 存放 和 管 
理 的 。 


3. 构件 


构件 是 一 个 特定 的 、 可 文档 化 的 工作 产品 (文件 ) 集 ,其 中 ,这 些 工作 产品 是 在 生存 周期 
过 程 中 产生 或 使 用 的 。 构 件 是 一 个 带 有 目录 结构 的 文件 集 。 

工作 产品 的 定义 是 : 一 个 由 软件 开发 项 目的 功能 、 活 动 或 任务 所 产生 的 任意 有 形 的 ( 软 
件 ) 项 。 工 作 产 品 包 括 管理 计划 、 测 试 计划 需求 规约 \ 设 计 文档 代码 ,会议 记录 、 备 忘 录 、 进 
度 和 预算 等 。 

一 个 构件 可 以 是 一 个 工作 产品 或 是 一 组 相关 的 工作 产品 ,在 配置 管理 活动 中 ,这 些 工作 
产品 被 当 作 一 个 单一 实体 。 

下 面 的 工作 产品 均 可 作为 被 管理 的 构件 : 

。 管理 计划 (项 目 、 进 度 、 预 算 、 质 量 保 证 ,测试 .SCMP 等 )。 
需求 文档 和 测试 文档 。 
用 户 维护 文档 和 和 手册。 
测试 文档 ,测试 驱动 器 和 测试 数据 。 
支撑 软件 (包括 编译 器 和 操作 系统 ) 。 
数据 字典 和 各 种 引用 。 
源 代码 ,包括 外 部 得 到 的 、 可 用 的 代码 。 
可 执行 程序 ,包括 外 部 获取 的 构件 。 
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。 链 图 和 构造 过 程 的 其 他 产品 。 

。 产品 发 布 说 明 ,例如 版 本 描述 文档 。 

。 创建 和 运行 产品 所 使 用 的 数据 库 。 

。 接口 控制 文档 ,在 一 个 系统 工程 的 配置 管理 (Configuration Mangement,CM) 系 统 中 
可 能 不 对 这 类 构件 进行 单独 维护 。 

。 任何 支持 产品 开发 和 运行 的 项 ,其 中 有 些 项 只 有 可 运行 的 形式 。 


4. 软件 配置 (Software Configuration. SC) 


软件 配置 是 指 若 干 个 软件 配置 项 在 不 同时 期 的 组 合 结构 与 关系 定义 ,同时 定义 了 由 这 
些 配置 项 所 组 成 的 更 大 的 配置 (模块 、 子 系统 、 系 统 )。 它 是 软件 生存 周期 各 阶段 产生 的 各 种 
形式 和 各 个 版 本 的 文档 ,程序 ,数据 及 环境 的 集合 。 


5. 工作 区 


指 开发 人 员 在 其 本 地 工作 站 上 用 来 存放 自己 的 工作 产品 的 地 方 (一 般 为 本 地 机 器 上 的 
一 个 磁盘 目录 ) 。 
这 里 的 开发 人 员 特 指 要 执行 “ 检 入 ”“ 检 出 ”等 操作 的 工作 人 员 。 


6. 软件 开发 库 


在 软件 生存 周期 的 某 个 阶段 ,存放 与 该 阶段 软件 开发 工作 有 关 的 软件 配置 项 .软件 配置 
及 其 相关 信息 的 配置 库 。 
通常 该 类 库 是 部 署 在 软件 开发 任务 的 研发 部 门 或 者 小 组 的 。 


7. 软件 受 控 库 


软件 受 控 库 是 指 软件 生存 周期 某 一 阶段 结束 时 ,存放 作为 阶段 产品 而 释放 的 .与 软件 开 
发 工作 有 关 的 软件 配置 及 其 相关 信息 的 软件 配置 库 。 
软件 受 控 库 是 一 个 受 控 的 软件 配置 项 的 集合 ,以 便于 软件 开发 .运行 及 维护 。 


8. 软件 产品 库 


软件 产品 库 是 指 在 软件 生成 周期 的 组 装 与 系统 测试 阶段 结束 后 ,存放 最 终 产品 而 后 交 
付 给 用 户 运 行 或 在 现场 安装 的 软件 配置 及 其 相关 信息 的 更 高 一 级 的 软件 受 控 库 。 


9. 基线 


基线 是 配置 演化 过 程 中 的 状态 标识 ,是 配置 在 某 一 时 刻 的 快照 ,反映 了 它 所 描述 的 系统 
或 者 其 组 成 部 分 在 某 一 时 刻 的 状态 ; 可 以 将 配置 的 基线 理解 为 配置 的 版 本 ,是 配置 演化 的 
里 程 碑 , 即 软件 生命 周期 内 的 阶段 里 程 碑 。 

基线 是 一 个 或 多 个 构件 的 集合 ,所 包含 的 构件 版 本 的 内 容 和 状态 已 通过 技术 上 的 复审 ， 
并 在 生存 周期 的 某 一 步骤 被 接受 。 利 用 配置 来 定义 基线 的 组 成 结构 ,而 通过 选取 配置 中 每 
个 构件 的 合适 版 本 来 组 成 基线 。 

所 以 基线 是 配置 的 相应 组 成 构件 某 一 时 刻 状态 的 快照 ,反应 系统 组 成 某 一 时 刻 的 状态 ; 
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一 个 配置 中 每 条 基线 是 反映 系统 的 不 同 状态 不同 版 本 ,反映 配置 演化 的 里 程 碑 , 即 软件 开 
发 过 程 的 阶段 里 程 碑 。 

基线 的 组 成 结构 和 配置 一 致 ,但 是 基线 在 此 结构 的 基础 上 定义 了 所 包含 的 每 一 个 构件 
的 版 本 或 子 配置 的 子 基线 。 

基线 分 为 “普通 基线 "和 “ 受 控 基线 ”两 大 类 。 

普通 基线 通常 由 项 目 小 组 内 部 控制 ,不 受 CCB( 配 置 控制 委员 会 ) 控 制 就 可 以 实施 变更 
的 基线 。 通 常 ,普通 基线 是 项 目 组 内 部 为 了 更 好 地 控制 进度 ,在 两 个 受 控 基线 (里 程 碑 ) 之 间 
划分 的 一 些 更 细 的 基线 (里 程 碑 ) 。 

受 控 基 线 必 须 通过 CCB 的 参与 和 审批 才能 实施 变更 的 基线 , 即 需要 通过 变更 管理 的 流 
程 才能 改变 的 基线 。 

此 外 ,还 有 产品 基线 , 它 作为 产品 发 布 的 基线 。 

一 般 情况 下 ,在 开发 库 中 ,我 们 所 创建 的 基线 通常 为 普通 基线 。 一 旦 我 们 要 通过 实施 严 
格 的 “变更 管理 ”来 控制 某 条 基线 时 ,我 们 就 把 这 条 基线 定义 为 “ 受 控 基 线 ”。 

基线 提升 是 指 由 下 级 配置 库 向 上 级 配置 库 提交 已 经 经 过 评审 确认 的 基线 的 过 程 。 基 线 
变更 是 指 从 某 条 基线 状态 为 达到 下 一 条 基线 状态 所 要 进行 的 变更 。 


6.7.2 软件 配置 管理 的 关键 活动 


1. 配置 项 (Software Configuration ltem,SCl) 识 别 


配置 项 的 识别 是 配置 管理 活动 的 基础 ,也 是 制订 配置 管理 计划 的 重要 内 容 。 软 件 配置 
管理 引入 了 “基线 (Base Line) ”的 概念 ,根据 基线 的 定义 ,软件 开发 流程 中 需要 加 以 控制 的 
配置 项 分 为 基线 配置 项 和 非 基 线 配 置 项 两 类 ,例如 ,基线 配置 项 可 能 包括 所 有 的 设计 文档 和 
源 程序 等 ; 非 基 线 配置 项 可 能 包括 项 目的 各 类 计划 和 报告 等 。 

所 有 配置 项 都 应 按照 相关 规定 统一 编号 ,按照 相应 的 模板 生成 ,并 在 文档 中 的 规定 章节 
(部 分 ) 记 录 对 象 的 标识 信息 。 在 引入 软件 配置 管理 工具 进行 管理 后 ,这 些 配 置 项 都 应 以 一 
定 的 目录 结构 保存 在 配置 库 中 。 

所 有 配置 项 的 操作 权限 应 由 配置 管理 员 严格 管理 ,基本 原则 是 : 基线 配置 项 向 软件 开 
发 人 员 开放 取得 权限 ; 非 基 线 配置 项 向 项 目 经 理 、 配 置 控制 委员 会 及 相关 人 员 开 放 。 


2. 工作 空间 管理 


开发 人 员 应 该 把 工作 成 果 存 放 到 由 软件 配置 管理 工具 所 管理 的 配置 库 中 去 ,或 直接 在 
软件 配置 管理 工具 提供 的 环境 下 工作 。 所 以 ,为 了 让 每 个 开发 人 员 和 各 个 开发 团队 能 更 好 
地 分 工 合作 ,同时 又 互 不 干扰 ,对 工作 空间 的 管理 和 维护 也 成 了 软件 配置 管理 的 一 个 重要 
活动 。 

一 般 来 说 ,比较 理想 的 情况 是 把 整个 配置 库 视 为 统一 的 工作 空间 ,然后 再 根据 需要 把 它 
划分 为 个 人 (私有 )、 团 队 ( 集 成 ) 和 全 组 (公共 ) 这 三 类 工作 空间 (分 支 ), 从 而 更 好 地 支持 将 来 
可 能 出 现 的 并 行 开发 的 需求 。 

每 个 开发 人 员 按 照 任务 的 要 求 , 在 不 同 的 开发 阶段 ,工作 在 不 同 的 工作 空间 上 ,例如 ,对 
于 私有 开发 空间 而 言 , 开 发 人 员 根 据 任 务 分 工 获 得 对 相应 配置 项 的 操作 许可 之 后 , 即 在 自己 
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的 私有 开发 分 支 上 工作 ,其 所 有 工作 成 果 体 现 为 在 该 配置 项 的 私有 分 支 上 的 版 本 的 推进 , 除 
该 开发 人 员外 ,其 他 人 员 均 无 权 操作 该 私有 空间 中 的 元 素 ; 而 集成 分 支 对 应 的 是 开发 团队 
的 公共 空间 ,该 开发 团队 拥有 对 该 集成 分 支 的 读 写 权 限 ,而 其 他 成 员 只 有 只 读 权限 , 它 的 管 
理工 作 由 系统 集成 员 负 责 ; 至 于 公共 工作 空间 , 则 是 用 于 统一 存放 各 个 开发 团队 的 阶段 性 
工作 成 果 , 它 提供 全 组 统一 的 标准 版 本 ,并 作为 整个 组 织 的 知识 库 。 


3. 版 本 控制 


版 本 控制 是 软件 配置 管理 的 核心 功能 。 所 有 置 于 配置 库 中 的 元 素 都 应 自动 予以 版 本 的 
标识 ,并 保证 版 本 命名 的 唯一 性 。 版 本 在 生成 过 程 中 ,自动 依照 设 定 的 使 用 模型 自动 分 支 、 
演进 。 除 了 系统 自动 记录 的 版 本 信息 以 外 ,为 了 配合 软件 开发 流程 的 各 个 阶段 ,我们 还 需要 
定义 ,收集 一 些 元 数据 (Metadata) 来 记录 版 本 的 辅助 信息 和 规范 开发 流程 ,并 为 今后 对 软件 
过 程 的 度量 做 好 准备 。 当 然 , 如 果 选 用 的 工具 支持 的 话 , 这 些 辅助 数据 将 能 直接 统计 出 过 程 
数据 ,从 而 方便 我 们 软件 过 程 改进 (Software Process Improvement,SPI) 活 动 的 进行 。 

对 于 配置 库 中 的 各 个 基线 控制 项 ,应 该 根据 其 基线 的 位 置 和 状态 来 设置 相应 的 访问 权 
限 。 一 般 来 说 ,对 于 基线 版 本 之 前 的 各 个 版 本 都 应 处 于 被 锁定 的 状态 ,如 需要 对 它们 进行 变 
更 , 则 应 按照 变更 控制 的 流程 来 进行 操作 。 


4. 变更 控制 


在 对 SCI( 软 件 配置 项 ?的 描述 中 ,我 们 引入 了 基线 的 概念 。 从 IEEE 对 于 基线 的 定义 
中 我 们 可 以 发 现 ,基线 是 和 变更 控制 紧密 相连 的 。 也 就 是 说 在 对 各 个 SCI 做 出 了 识别 ,并 
且 利 用 工具 对 它们 进行 了 版 本 管理 之 后 ,如 何 保证 它们 在 复杂 多 变 的 开发 过 程 中 真正 的 处 
于 受 控 的 状态 ,并 在 任何 情况 下 都 能 迅速 地 恢复 到 任 一 历史 状态 就 成 了 软件 配置 管理 的 另 
一 个 重要 任务 。 因 此 ,变更 控制 就 是 通过 结合 人 的 规程 和 自动 化 工具 ,以 提供 一 个 变化 控制 
的 机 制 。 


5. 状态 报告 


配置 状态 报告 就 是 根据 配置 项 操作 数据 库 中 的 记录 来 向 管理 者 报告 软件 开发 活动 的 进 
展 情 况 。 这 样 的 报告 应 该 是 定期 进行 的 ,并 尽量 通过 CASE 工具 自动 生成 ,用 数据 库 中 的 
客观 数据 来 真实 地 反映 各 配置 项 的 情况 。 

配置 状态 报告 应 根据 报告 着 重 反映 当前 基线 配置 项 的 状态 ,以 作为 对 开发 进度 报告 的 
参照 。 同 时 也 能 从 中 根据 开发 人 员 对 配置 项 的 操作 记录 来 对 开发 团队 的 工作 关系 做 一 定 的 
分 析 。 

配置 状态 报告 应 该 包括 下 列 主要 内 容 

CD 配置 库 结 构 和 相关 说 明 。 

(2) 开发 起 始 基线 的 构成 。 

(3) 当前 基线 位 置 及 状态 。 

(4) 各 基线 配置 项 集成 分 支 的 情况 。 

C) 各 私有 开发 分 支 类 型 的 分 布 情况 。 

(6) 关键 元 素 的 版 本 演进 记录 。 
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(7) 其 他 应 予以 报告 的 事项 。 
6. 配置 审计 


配置 审计 的 主要 作用 是 作为 变更 控制 的 补充 手段 ,来 确保 某 一 变更 需求 已 被 切实 实现 。 
在 某 些 情况 下 , 它 被 作为 正式 的 技术 复审 的 一 部 分 ,但 当 软 件 配 置 管理 是 一 个 正式 的 活动 
时 ,该 活动 由 SQA 人 员 单 独 执行 。 

总 之 ,软件 配置 管理 的 对 象 是 软件 研发 活动 中 的 全 部 开发 资产 。 所 有 这 一 切 都 应 作为 
配置 项 纳入 管理 计划 统一 进行 管理 ,从 而 能 够 保证 及 时 地 对 所 有 软件 开发 资源 进行 维护 和 
集成 。 因 此 ,软件 配置 管理 的 主要 任务 也 就 归结 为 以 下 几 条 : @ 制 订 项 目的 配置 计划 ; 
名 对 配置 项 进行 标识 ; 四 对 配置 项 进行 版 本 控制 ; 中 对 配置 项 进行 变更 控制 ; @ 定 期 进行 
配置 审计 ; @ 向 相关 人 员 报 告 配置 的 状态 。 


6.8 TestDirector 测试 管理 工具 的 运用 


TestDirector 是 HP MICHP Mercury Interactive) 公 司 的 一 个 测试 管理 工具 ,是 业界 第 
一 个 基于 Web 的 测试 管理 系统 , 它 可 以 在 公司 内 部 或 外 部 进行 全 球 范 围 内 测试 的 管理 。 通 
过 在 一 个 整体 的 应 用 系统 中 集成 了 测试 管理 的 各 个 部 分 ,包括 需求 管理 ,测试 计划 ,测试 执 
行 以 及 错误 跟踪 等 功能 ,TestDirector 极 大 地 加 速 了 测试 过 程 。 


6.8.1 TestDirector 概述 
1. TestDirector 功能 介绍 


1) 需求 管理 

程序 的 需求 驱动 整个 测试 过 程 。TestDirector 的 Web 界面 简化 了 这 些 需 求 管理 过 程 ， 
以 此 可 以 验证 应 用 软件 的 每 一 个 特性 或 功能 是 否 正常 。 通 过 提供 一 个 比较 直观 的 机 制 将 需 
求 和 测试 用 例 、 测 试 结果 和 报告 的 错误 联系 起 来 ,从 而 确保 能 达到 最 高 的 测试 覆盖 率 。 

一 般 有 两 种 方式 可 将 需求 和 测试 联系 起 来 。 其 一 ,TestDirector 捕获 并 跟踪 所 有 首次 
发 生 的 应 用 需求 。 其 二 ,由 于 Web 应 用 是 不 断 更 新 和 变化 的 ,需求 管理 允许 测试 人 员 加 减 
或 修改 需求 ,并 确定 目前 的 应 用 需求 已 拥有 了 一 定 的 测试 覆盖 率 。 它 们 帮助 决定 一 个 应 用 
软件 的 哪些 部 分 需要 测试 ,哪些 测试 需要 开发 ,完成 的 应 用 软件 是 否 满足 了 用 户 的 要 求 。 

2) 计划 测试 

测试 计划 的 制订 是 测试 过 程 中 至 关 重 要 的 环节 。 它 为 整个 测试 提供 了 一 个 结构 框架 。 
TestDirector 的 Test Plan Manager 在 测试 计划 期 间 ,为 测试 小 组 提供 一 个 关键 要 点 和 Web 
界面 来 协调 团队 间 的 沟通 。 

Test Plan Manager 指导 测试 人 员 如 何 将 应 用 需求 转化 为 具体 的 测试 计划 。 这 种 直观 
的 结构 能 帮助 用 户 定义 如 何 测试 应 用 软件 ,从 而 能 组 织 起 明确 的 任务 和 责任 。 

Test Plan Manager 还 能 进一步 地 帮助 用 户 完 善 测试 设计 并 以 文件 形式 描述 每 一 个 测 
试 步骤 ,包括 对 每 一 项 测试 的 用 户 反应 的 顺序 ,检查 点 和 预期 的 结果 。TestDirector 还 能 为 
每 一 项 测试 连 加 附属 文件 ,如 Word、Excel、.HTML, 用 于 更 详尽 地 记录 每 次 的 测试 计划 。 
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3) 安排 和 执行 测试 

一 旦 测试 计划 建立 后 , TestDirector 的 测试 实验 室 管理 为 测试 日 程 制订 提供 一 个 基于 
Web 的 框架 。 它 的 Smart Scheduler 根据 测试 计划 中 创立 的 指标 对 运行 着 的 测试 执行 
监控 。 

当 网 络 上 任何 一 台 主 机 空闲 ,测试 可 以 彻夜 执行 于 其 上 。Smart Scheduler 能 自动 分 辩 
是 系统 错误 还 是 应 用 错误 ,然后 将 测试 重新 安排 到 网 络 上 的 其 他 机 器 。 对 于 不 断 改 变 的 
Web 应 用 ,经 常 性 地 执行 测试 对 于 追查 出 错 发 生 的 环节 和 评估 应 用 质量 都 是 至 关 重 要 的 。 
然而 ,这 些 测试 的 运行 都 要 消耗 测试 资源 和 时 间 。 使 用 Graphic Designer 图 表 设 计 , 用 户 可 
以 很 快 地 将 测试 分 类 以 满足 不 同 的 测试 目的 ,如 功能 性 测试 ,负载 测试 ,完整 性 测试 等 。 它 
的 拖 动 功能 可 简化 设计 和 排列 在 多 个 机 器 上 运行 的 测试 ,最 终 根 据 设 定好 的 时 间 、 路 径 或 其 
他 测试 的 成 功 与 否 ,为 序列 测试 制订 执行 日 程 。Smart Scheduler 能 让 你 在 更 短 的 时 间 内 ， 
在 更 少 的 机 器 上 完成 更 多 的 测试 。 

4) 缺陷 管理 

当 测 试 完成 后 ,项 目 经 理 必须 解读 这 些 测试 数据 并 将 这 些 信息 用 于 工作 中 。 当 发 现 错 
误 时 ,他 们 还 要 指定 相关 人 员 及 时 纠正 。 

TestDirector 的 出 错 管 理 直 接 贯穿 作用 于 测试 的 全 过 程 ,以 提供 管理 系统 终端 -终端 的 
出 错 跟 踪 一 一 从 最 初 的 问题 发 现 到 修改 错误 再 到 检验 修改 结果 。 由 于 同一 项 目 组 中 的 成 员 
经 常 分 布 于 不 同 的 地 方 ,TestDirector 基于 浏览 器 的 特征 ,使 出 错 管理 能 让 多 个 用 户 无 论 在 
何 时 何 地 都 可 以 通过 Web 查询 出 错 跟踪 情况 。 利 用 出 错 管 理 ,测试 人 员 只 需 进 入 一 个 
URL ,就 可 汇报 和 更 新 错误 ,过 滤 整 理 错误 列表 并 做 趋势 分 析 。 在 进入 一 个 出 错案 例 前 , 测 
试 人 员 还 可 以 自动 执行 一 次 错误 数据 库 的 搜寻 ,确定 是 否 已 有 类 似 的 案例 记录 。 这 一 查询 
功能 可 避免 重复 劳动 。 

5) 图 形 化 和 报表 输出 

测试 过 程 的 最 后 一 步 是 分 析 测 试 结果 ,确定 应 用 软件 是 否 已 布 属 成 功 或 是 否 需要 再 次 
的 测试 。 

TestDirector 常规 化 的 图 表 和 报告 可 以 在 测试 的 任 一 环节 帮助 你 对 数据 信息 进行 分 
lr. TestDirector 还 以 标准 的 HTML 或 Word 形式 提供 一 种 生成 和 发 送 正式 测试 报告 的 
一 种 简单 方式 。 测 试 分 析 数 据 还 可 以 简便 地 输入 到 一 种 工业 标准 化 的 报告 工具 中 ,如 
Excel, ReportSmith, CrystalReports 和 其 他 类 型 的 第 三 方 工具 。 


2. 使 用 测试 管理 工具 的 目的 


使 用 测试 管理 工具 对 各 方面 的 人 员 都 有 一 定 的 好 处 。 

组 织 级 管理 者 的 好 处 : 清晰 地 掌握 测试 人 员 的 工作 情况 (工作 效率 .工作 进展 );， 清 
晰 地 掌握 项 目的 进展 情况 ; 轻松 地 进行 成 本 控制 ; 客观 、 准 确 地 进行 测试 人 员 的 绩 
效 考核 。 

项 目 经 理 的 好 处 : 清晰 地 掌握 项 目的 进展 情况 ; 轻松 地 进行 项 目的 需求 控制 。 
开发 人 员 的 好 处 : 清晰 ,快捷 地 了 解 自 己 开发 程序 的 质量 情况 ; 及 时 地 修改 程序 
缺陷 。 

测试 人 员 的 好 处 : 方便 地 管理 测试 用 例 ; 实时 地 进行 测试 计划 管理 ; 充分 地 利用 测 
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试 资源 ; 全 面 地 记录 所 有 执行 测试 工作 及 结果 ; 方便 地 管理 自动 测试 ; 全 面 、 客 观 
地 掌握 软件 质量 。 

* SQA 的 好 处 : 全 面 、 客 观 地 掌握 软件 质量 ; 轻松 地 收集 软件 质量 信息 ; 轻松 地 进行 
软件 质量 监控 。 

使 用 测试 管理 工具 的 不 利 因素 : 

。 要 学 习 新 工具 的 使 用 。 

* 由 于 测试 人 员 的 工作 情况 太 直观 地 暴露 给 领导 ,会 给 测试 人 员 带 来 一 定 的 心理 压 
力 ,并 且 可 能 会 产生 负面 情绪 。 

* 在 执行 测试 阶段 由 于 可 以 将 功能 点 的 测试 时 间 进 行 量 化 ,会 给 测试 人 员 带 来 巨大 的 
工作 压力 。 

。 对 测试 人 员 的 测试 水 平 要 求 提高 了 (例如 自动 测试 测试 效率 ,测试 用 例 的 编写 水 
平等 )。 

综 上 所 述 ,使 用 测试 管理 工具 的 好 处 是 显而易见 的 ,只 要 我 们 能 够 很 好 地 克服 不 利 因 

素 ,就 可 以 为 我 们 在 整个 软件 活动 中 带 来 很 好 的 效果 。 


6.8.2 Testdirector 测试 管理 过 程 


根据 TestDirector 官方 使 用 手册 的 描述 ,TestDirector 的 测试 管理 包括 如 下 4 个 阶段 ， 
如 图 6-7 所 示 。 

(1) 需求 定义 (Specify Requirements) : 分 析 应 用 程序 并 确定 测试 需求 。 

(2) 测试 计划 (Plan Tests); 基于 测试 需求 ,建立 测试 计划 。 

(3) 测试 执行 (Execute Tests): 创建 测试 集 (Test Set) 并 执行 测试 。 

(4) 缺陷 跟踪 (Track Defects): 报告 程序 中 产生 的 缺陷 并 跟踪 缺陷 修复 的 全 过 程 。 贯 
穿 测试 的 每 一 个 阶段 ,能 够 通过 产生 详细 的 报告 和 图 标 对 数据 进行 分 析 。 


1. 需求 定义 
需求 定义 阶段 主要 分 析 应 用 程序 并 确定 测试 需求 ,需求 定义 流程 图 如 图 6-8 所 示 。 
[ swxwex ] 定义 测试 范 轩 
测试 计划 TIS 
NM 描述 需求 
ET MER 
图 6-7 测试 管理 过 程 图 图 6-8 需求 定义 流程 图 


CD 定义 测试 范围 (Define Testing Scope): 检查 应 用 程序 文档 ,并 确定 测试 范围 一 一 
测试 目的 .目标 和 策略 。 
(2) 创建 需求 (Create Requirements) : 创建 需求 树 (Requirements Treo) ,并 确定 它 涵 
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盖 所 有 的 测试 需求 。 

(3) 描述 需求 (Detail Requirements); 为 “需求 树 ”" 中 的 每 一 个 需求 主题 建立 了 一 个 详 
细 的 目录 ,并 描述 每 一 个 需求 ,给 它 分 配 一 个 优先 级 ,如 有 必要 的 话 , 还 可 以 加 上 附件 。 

(4) 分 析 需 求 (Analyze Requirements) : 产生 报告 和 图 表 来 帮助 你 分 析 测 试 需求 ,并 检 
查 需 求 以 确保 它们 在 你 的 测试 范围 内 。 


2. 测试 计划 


测试 计划 阶段 基于 已 定义 的 测试 需求 ,创建 相应 的 测试 计划 ,测试 计划 流程 图 如 图 6-9 
所 示 。 
(1) 定义 测试 策略 (Define Testing Strategy): 检查 应 用 程序 、 系 统 定义 测试 策略 


环境 和 测试 资源 ,并 确认 测试 目标 。 Jl 
(2) 定义 测试 主题 (Define Test Subject): 将 应 用 程序 基于 模块 和 定义 测试 主题 
功能 进行 划分 ,并 对 应 到 各 个 测试 单元 或 主题 ,构建 测试 计划 树 (Test 
Plan Tree) 。 定义 测试 
(3) 定义 测试 (Define Tests) : 定义 每 个 模块 的 测试 类 型 ,并 为 每 TETT 
个 测试 添加 基本 的 说 明 。 
(4) 创建 需求 覆盖 (Create Requirements Coverage): 将 每 一 个 测 D cm 
试 与 测试 需求 进行 连接 。 g 
(5) 设计 测试 步骤 (Design Test Steps): 对 于 每 一 个 测试 ,先决 定 自动 测试 
其 要 进行 的 测试 类 型 (手动 测试 和 自动 测试 ) , 若 准备 进行 手动 测试 , 需 


要 为 其 在 测试 计划 树 上 添加 相应 的 测试 步骤 (Test Steps)。 测 试 步骤 分 析 测试 计划 
描述 测试 的 详细 操作 、 检 查 点 和 每 个 测试 的 预期 结果 。 6-9 测试 计划 
(6) 自动 测试 (Automate Tests) : 对 于 要 进行 自动 测试 的 部 分 ,应 流程 图 
该 利用 MI、 自 己 或 第 三 方 的 测试 工具 来 创建 测试 脚本 。 
CD 分 析 测 试 计划 (Analyze Test Plan) : 产生 报告 和 图 表 来 帮助 分 析 测 试 计划 数据 ,并 
检查 所 有 测试 以 确保 它们 满足 测试 目标 。 


3. 测试 执行 


测试 执行 阶段 要 创建 测试 集 并 执行 测试 ,测试 执行 流程 图 如 图 6-10 所 示 。 

C) 创建 测试 集 (Create Test Sets); 在 工程 中 定义 不 同 的 测试 组 来 达到 各 种 不 同 的 测 
试 目标 ,他 们 可 能 包括 , 举 个 例子 ,在 一 个 应 用 程序 中 测试 一 个 新 的 应 用 版 本 或 是 一 个 特殊 
的 功能 ,并 确定 每 个 测试 集 都 包括 了 哪些 测试 。 

(2) 确定 进度 表 (Schedule Runs): 为 测试 执行 制订 时 间 表 ,并 为 测试 员 分 配 任 务 。 

(3) 运行 测试 (Run Tests): 自动 或 手动 执行 每 一 个 测试 集 。 

(4) 分 析 测 试 结果 (Analyze Test Results) : 查看 测试 结果 并 确保 应 用 程序 缺陷 已 经 被 
发 现 。 生 成 的 报告 和 图 表 可 以 帮助 分 析 这 些 结果 。 
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4. 缺陷 跟踪 


缺陷 跟踪 阶段 主要 报告 程序 中 产生 的 缺陷 并 跟踪 缺陷 修复 的 全 过 程 ,缺陷 跟踪 流程 
图 6-11 所 示 。 


添加 缺陷 


创建 测试 集 xe] 

确定 进度 表 m] 

自动 运行 测试 | |[ 手动 运行 测试 i] 
分 析 测 试 结果 分 析 缺陷 数据 


图 6-10 测试 执行 流程 图 图 6-11 缺陷 跟踪 流程 图 


CD 添加 缺陷 (Add Defects): 报告 程序 测试 中 发 现 的 新 的 缺陷 。 在 测试 过 程 中 的 任何 
阶段 ,质量 保证 人 员 、 开 发 者 项目 经 理 和 最 终 用 户 都 能 添加 缺陷 。 

(2) 缺陷 检查 (Review New Defects) : 检查 新 的 缺陷 ,并 确定 哪些 缺陷 应 该 被 修复 。 

(3) 缺陷 修复 (Repair Open Defects): 修复 那些 决定 要 修复 的 缺陷 。 

(4) 验证 缺陷 (Test New Build); 测试 应 用 程序 的 新 构建 ,重复 上 面 的 过 程 ,直到 缺陷 
被 修复 。 
(5) 分 析 缺 陷 数 据 (Analyze Defect Data): 产生 报告 和 图 表 来 帮助 分 析 缺 陷 修复 过 程 ， 
并 帮助 决定 什么 时 候 发 布 该 产品 。 


6.8.3 TestDirector 配置 
1. 启动 TestDirector 


打开 Web 浏览 器 并 输入 TestDirector 所 在 的 URL Chttp://[Server name ]/[ virtual 
Directory name ]/default. htm) , TestDirector 的 首页 将 被 打开 。 默 认 的 虚拟 目录 名 称 是 
TDBIN。 例 如 ,在 IP 为 192. 168. 0. 116 的 机 器 上 安装 了 TestDirector 8. 0, 那 么 在 浏览 器 地 
址 栏 中 输入 : http://192. 168. 0. 116/TDBIN/default. html, 就 可 以 访问 TestDirector 的 首 
页 ,如 图 6-12 所 示 。 

单 击 左 侧 的 TestDirector 链接 ,将 进入 TestDirector 的 登录 界面 ,如 图 6-13 所 示 。 如 果 你 
是 第 一 次 运行 TestDirector ,客户 端 相关 软件 将 会 被 下 载 到 你 的 计算 机 上 ,随后 TestDirector 
会 自动 进行 版 本 检查 。 若 发 现存 在 新 的 版 本 , 它 将 会 帮 你 下 载 ,完成 后 将 显示 TestDirector 
的 登录 页 面 。 选 择 域名 称 项目 名 称 、 用 户 ID 和 密码 就 可 以 进入 指定 的 测试 项 目 。 
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图 6-12 TestDirector 8.0 首页 
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图 6-13  TestDirector 登录 界面 


2. TestDirector 站 点 配置 


如 果 使 用 TestDirector 管理 测试 项 目 ,我 们 就 需要 先进 行 一 些 环境 配置 的 工作 ,例如 创 
建 域 . 创 建 项 目 创建 新 用 户 并 设置 权限 等 。 下 面 我 们 就 来 学 习 这 些 内 容 。 
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1) 创建 域 和 项 目 
步骤 一 : 打开 TestDirector 首页 , 单 击 左 侧 Site Administrator 链接 ,进入 Site Administrator 
登录 页 面 ,如 图 6-14 所 示 。 


Fj Mercury TestD 8.0 SP2 Site Admini 

XPD SED 

ome- o- Naal wx ol oha 
HIED [E] http://1ocalhost/TDBIN/SiteAdnin htm EREL 


tDirector 8.0 


Site Administrator 
Password : 


C Remember Password 


Change Password 


IT TT T enum 


6-14 Site Administrator 登录 页 面 


步骤 二 : 输入 密码 ,默认 密码 为 空 , 可 以 单 击 Change xi 
Password 修改 密码 ,如 图 6-15 所 示 , 这 个 密码 只 针对 这 0a passnora : 
个 页 面 。 

步骤 三 : 在 Project 页 面 可 以 对 工作 域 和 测试 项 目 
进行 管理 。 可 以 看 到 ,Project 页 面 左 侧 的 域 和 项 目的 
树 形 结构 , 其 中 顶层 DEFAULT. 是 域名 ,下 级 的 
MyTest 和 TestDirector_Demo 是 系统 默认 存在 的 两 个 图 6-15 change password 
测试 项 目 。 右 击 域名 DEFAULT, 如 图 6-16 所 示 ,选择 
Create Domain ,可 以 创建 新 域 ; 选择 Create Project, 可 以 创建 新 项 目 。 这 里 我 们 要 在 默认 
域 DEFAULT 中 创建 新 项 目 NewTest, 如 图 6-17, 在 Project Name 中 输入 项 目 名 称 
NewTest, 选 择 数据 库 MS Access. NewTest 创建 好 后 如 图 6-18 所 示 。 

2) 用 户 操作 

在 Site Administrator 页 面 中 选择 Users 页 面 可 以 进行 测试 用 户 管理 。 我 们 在 图 6-19 
中 可 以 看 到 ,对 于 用 户 进行 操作 的 菜单 有 4 项 ,它们 的 功能 如 下 : 

New: 新 建 一 个 用 户 。 

Delete: 删除 指定 用 户 。 

Import: 把 本 机 Windows 系统 用 户 导 入 TestDirector。 


New Password : 


Retype Password : 
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mr èë 


ProjectName: NerTest 


In Domain : DEFAULT - 


Database Type 


ON Access 


O Oracle O Sybase 


Crente Project 


[a] merrem 


> it cueal || help 
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Projects | Users | Connections | Licenses | TD Servers | DB Servers | Site Config | Sitegcope 


A nene [3 zai 3gr« |l 


[ create nomeia (Ef perete memain 


| 
[3 creste project F perete prosect 


NewTest 
| l3 E 
内 B TestDirector Demo Project Database. 
Database Type: Access Project Status ; Active 


Database Name: de£axlt nextest, db 
Database Server : LOCAL. 


Created From Project: Empty Database 
Created From Domain; TEMPLATES 


图 6-18 新 项 目 NewTest 


rvers | 


TD 
PL 


s | Site Config | SiteScop 


Z alex td Project Manager 


alex_td 


A slice td QA Tester 

& cecin tà QA Tester 

& james td Developer 

FETTATI Defect Reporter . Proj re 
a DUCATI Developer tutae; Project © 

A michael tà QA Tester 

[à paul td Defect Reporter 

FE tà Developer 

2 robert tà BD Manager 

y shellz_ta QA Manager 


Domain Authentication : 
Email: 
Phone Number 
Description : 


i|(Restored from project TestDirector_Demo ) 


TotalUsers: 11 


图 6-19 用 户 管理 页 面 
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Password; 为 指定 用 户 设 置 密码 。 
下 面 我 们 为 测试 项 目 NewTest 新 建 用 户 Tester_NT, 并 进行 相关 设置 。 
步骤 一 : 新 建 用 户 Tester NT。 单 击 New 按钮 ,在 弹出 页 面 上 填 入 新 用 户 信息 , 单 击 
OK 创建 新 用 户 Tester NT. 
步骤 二 : 为 Tester NT 设置 密码 。 单 击 Password 按钮 可 以 为 Tester. NT 设置 密码 。 
步骤 三 : 为 Tester NT 设置 权限 。 
注意 : TestDirector 8. 0 默认 有 Developer, Project Manager, QA Tester, TDAdmin 和 
Viewer 5 个 用 户 组 ,与 Windows 系统 类 似 , 每 个 用 户 组 有 不 同 的 权限 ,用 户 可 以 隶属 于 某 
一 个 或 多 个 用 户 组 。 通 过 把 用 户 加 入 到 不 同 的 用 户 组 来 设置 用 户 的 不 同 权限 。 
在 TestDirector 登录 页 面 单 击 右 上 角 的 “ 自 定义 ”按钮 ,项 目 名 称 选择 NewTest, 用 户 
ID 为 admin 登录 (默认 密码 为 空 ) ,如 图 6-20 所 示 。 
y TestDirecter 8.0 ST2 NEW - sinl xi 
RED EU WW IAV #MW Ej 


RE cum e|o- s 3 
ak QD [8] http: /lscalhest/TDBTW start hta EDPLNE 


NenTest - 


:ai 


i 
NERAL ACCESS 


[IIT TT eus 


6-20 “ 自 定义 ”登录 


进入 项 目 自 定义 设置 页 面 后 ,选择 左 侧 Set Up Users 链接 ,进入 "设置 项 目 用 户 ? 页 
面 。 单 击 “ 添 加 用 户 ”, 将 新 建 用户 Tester NT 添加 到 项 目 中 。 然 后 为 Tester NT 设置 权 
限 , 使 其 属于 三 个 用 户 组 : Project Manager, TDAdmin 和 Viewer。 如 图 6-21 和 图 6-22 
所 示 。 

TestDirector 中 ,用 户 和 用 户 组 的 管理 灵活 、 简 单 ,关于 用 户 管理 的 高 级 应 用 以 及 用 户 
组 的 管理 请 参阅 TestDirector 的 相关 官方 文档 。 


|R9RHHP “| 将 用 户 添加 到 项 目 ax 


r ABAP 
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ltd Project Manager 

T |2 slice ta QA Tester 
à cecil_ta QA Tester SESESS 
à merca Developer keel 
FEDES Defect Reporter ist yeu 
2 mta Developer QATester 
à michael ta QA Tester Vierer 
FERT Defect Reporter 
2 peter ta Developer 
[à robert tà MD Manager 
FI 


图 6-21 添加 Tester NT 到 项 目 NewTest 中 
设置 项 目 用 户 xj 
r 项 目 用 户 Properties of tester_nt 
[; User Nane [odl Nane | p ERET 成员 不 属于 一 一 一 | 
É sinin Q Project Manager f Developer 
E uest E Dadin £ Tester 
d tester nt Project Manager E Viewer [»] 
加 
E 
p B: 
全 名 : [Project Manager NewTest 项 目的 管理 员 
电子 邮件 (Tester NIGlocalhost 
电话 : [13333333333 
[| 区 mmm] |E mee «T , 


Ce] ][ 1] 


图 6-22 设置 用 户 权 限 


6.8.4 使 用 TestDirector 管理 测试 项 目 


TestDirector 8. 0 提供 了 一 个 示例 项 目 TestDirector_Demo( 航 班 订 票 系统 测试 项 目 ) 
供用 户 学 习 TestDirector 的 基本 工作 流程 和 使 用 方法 ,下 面 我 们 就 以 TestDirector_Demo 
项 目 为 例 , 结 合 TestDirector 使 用 手册 来 描述 TestDirector 8. 0 管理 测试 项 目的 基本 过 程 。 
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1. TestDirector 主 窗口 


在 TestDirector 登录 界面 (图 6-13) 输 入 域名 、 项 目 名 、 用 户 名 和 密码 ,我 们 就 可 以 进 
入 TestDirector 的 主 窗口 。 这 里 ,我 们 登录 TestDirector 提供 的 示例 项 目 TestDirector_ 
Demo, 该 项 目 属于 DEFAULT 域 ,用 户 名 为 adtmin, 密 码 为 空 。 单 击 NCI 按钮 进入 
项 目 TestDirector_Demo, 如 图 6-23 所 示 。 图 6-24 是 TestDirector 主 窗口 的 通用 工具 栏 。 


文件 中 ”编辑 EF] FEV EQ) IAV 帮助 00 
QsR-O-ic|P^-* mx 如 | O VB 
Hk O) fÆ] http;//192. 166. 0. 116/TDBIN/ start à htm SE | 链接 | 


TestDirector 8.0 (VM 
工具 LL] 退出 
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Hane | Direct Cover Stet Coverage Analysis 
Wis Wereury Tours Application 3€ Failed Eu—— == T ] 
G9 Application Security 7) Hot Covered 


了 MotCovered CE 3 ] 
RT O 
o—— —MM PER. RN | 


© Application Reliability 


m o Profile manageaeat 7 ot Corsred M  — — 
Œ o Booking System ? Not Covered M  . 9 BE 
m o Fights Reservation Service 7 
田 9 Reservations Banegement 3 Net Covered — [ T J 


| Description ETTA 


|Teb-based application (site) for travelers. I 

i 
GD "n 
: js 


[Server Time: 06:35 PH 10-19-10. 


6-23 mH TestDirector Demo 界面 


四 大 功能 模块 。 ”工具 按钮 


人 [Em 
Emma 2 


às 


3e-x|e-a|&-2|& o s|&- 
模块 工具 栏 
图 6-24 ”TestDirector 主 窗口 工具 栏 


2. 管理 测试 需求 


TestDirector 对 测试 需求 的 管理 流程 是 定义 测试 范围 ,创建 需求 .描述 需求 .分 析 需 
求 。 测 试 人 员 通 过 分 析 各 种 项 目 文档 信息 来 确定 测试 范围 (测试 目标 、 对 象 和 策略 等 )， 
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然后 在 TestDirector 的 需求 管理 模块 (Requirements) 中 创建 需求 树 并 对 每 一 项 需求 进行 
详细 描述 (优先 级 、 类 型 .覆盖 状态 等 ) ,这些 需求 信息 都 可 以 用 报表 或 图 表 的 形式 加 以 总 
结 和 分 析 。 

1) 定义 测试 范围 

测试 人 员 收 集 所 有 可 以 利用 的 文档 信息 来 确定 测试 需求 的 范围 。 质 量 保证 的 管理 人 员 
用 测试 范围 为 应 用 程序 的 测试 定义 所 有 的 测试 需求 。 它 们 先 定义 测试 主题 ,并 将 各 个 测试 
主题 指派 给 测试 组 内 的 各 个 QA 测试 人 员 。 然 后 每 一 个 QA 测试 人 员 将 自己 所 负责 的 测试 
主题 记录 到 TestDirector 工程 上 。 

需求 主题 是 通过 创建 需求 树 记 录 在 需求 模块 里 。 需 求 树 是 以 图 表 的 方式 形象 地 描述 需 
求 说 明 书 ,并 显示 不 同 级 别 需 求 的 等 级 关系 。 

例如 TestDirector_Demo 项目 中 的 航班 订 票 系统 , 它 能 够 让 你 去 管理 航班 调动 .旅客 
登记 和 机 票 销售 。QA 管理 人 员 可 能 会 定义 其 主要 的 测试 需求 为 登录 操作 ,数据库 操作 、 
传真 发 送 操作 、 安 全 性 能 力 检查 、 图 形 和 报表 操作 、UI 检查 操作 和 帮助 等 ,如 图 6-25 
所 示 。 

对 于 每 一 个 需求 主题 , QA 测试 员 均 应 该 创建 相应 的 详细 测试 需求 列表 。 例 如 ， 
Application Security 需求 主题 可 能 会 被 分 解 为 如 图 6-26 所 示 的 需求 ,图 中 粗 体 字 显示 的 是 
需求 主题 ,下 方 列 表 为 子 需求 。 

2) 在 需求 树 中 管理 需求 

测试 项 目的 所 有 需求 根据 其 相互 关系 构成 若干 需求 树 ,需求 树 可 以 类 比 于 Windows 操 
作 系 统 中 的 树 形 目 录 结 构 ,在 需求 管理 模块 页 面 中 , 左 侧 显示 需求 树 结构 , 右 侧 显示 指定 需 
求 项 的 相关 信息 ; 另外 ,在 操作 方式 上 两 者 也 是 类 似 的 。 读 者 只 要 掌握 需求 模块 中 的 菜单 
或 工具 按钮 的 用 法 ,就 能 很 快 掌握 管理 需求 树 的 方法 。 


Document View 
RIB [4 [t 
Name 
= @ Application Security 
® e Application Client System. 
e Application Usability 
Œ @ Application Performance 
e Application Reliability 1 
i e Profile Management topic 


日 

EE peremit 

一 -一 一 - 一- = 21- Access Authorization. 

* 22- Secure Transmission 

$ 23- Privacy Protection. 

& 24 -Data Storage Protection 

E 2.5 - Third Party Security Compliance. 
S 2.5.1- Airline Companies 


Requirement 


— 25.1.1 - Bue Skies Arines 


田 e Booking System Requirement -一 | 2512- Pangea Arines 
e Flights Reservation Service children Es 2543 - Unified Arines 
e Reservations Management 四 2.5.2 - Credit Card Companies 
图 6-25 TestDirector_Demo 的 需求 主题 图 6-26 详细 测试 需求 列表 
3) 描述 需求 


当 需 求 被 添加 到 需求 树 后 ,需要 添加 具体 的 描述 信息 ,例如 创建 者 .优先 级 .类 型 .产品 、 
覆盖 状态 、 被 修改 情况 等 。 

4) 分 析 需 求 

通过 报表 菜单 可 以 对 指定 需求 项 生成 形式 多 样 的 需求 报表 ,选择 菜单 “分 析 ” 一 “报告 ”下 
standard requirements report 生成 需求 报表 如 图 6-27 所 示 。 
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Requirements Report 
ReqID (3) - Mercury Tours Application 
Priority : S-Urgent Product : Mercury Tours 
Type : Functional Attachment : 
Author : alex. td (Project Creation Date: — 2002-01-09 
Manager) Modified : 2003-06-22 19:45:22 
Creation Time : 9:07:28 Planned Version : Version 1.0 
Direct Cover Failed Reviewed : Reviewed 
Status : 
Name : Mercury Tours 
Application 
ReqID : 3 
Reviewer : robert. td (R&D 
Manager) 
Description : 
Web-based application (site) for travelers. | 


图 6-27 需求 报表 


通过 图 表 菜 单 可 以 对 指定 需求 项 生成 需求 图 表 。 选 择 菜 单 “ 分 析 ” 一 “视图 ”一 
requirements Coverage 生成 需求 覆盖 图 表 如 图 6-28 所 示 。 

TestDirector 8. 0 为 用 户 提 供 了 专用 的 图 表 工 具 ,支持 各 种 报表 、 图 表 的 生成 和 显示 ,为 
测试 人 员 的 工作 带 来 了 极 大 便利 。 


3. 计划 测试 


按照 测试 流程 来 说 ,计划 测试 主要 进行 测试 分 析 设 计 阶段 的 工作 ,测试 人 员 需 要 根据 前 
面 定制 好 的 测试 需求 来 设计 具体 的 测试 策略 和 步骤 ,为 下 一 步 的 测试 执行 做 好 准备 。 
TestDirector 为 计划 测试 提供 了 一 个 基本 管理 流程 : 定义 测试 策略 ,定义 测试 主题 .定义 测 
试 、 创 建 需 求 覆盖 、 设 计 测 试 步骤 .自动 测试 .分 析 测试 计划 。 

1) 定义 测试 策略 

针对 测试 需求 树 中 的 某 一 项 需求 ,我 们 需求 制订 一 个 测试 策略 ,一 般 从 以 下 两 个 角度 来 
考虑 : 

。 你 应 当 怎样 测试 应 用 程序 ? 

使 用 的 测试 技术 : 压力 测试 .安全 测试 ,性 能 测试 等 。 

缺陷 的 处 理 : 缺陷 严重 程度 .缺陷 状态 、 缺 陷 管理 权限 等 。 
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图 6-28 需求 覆盖 图 表 


。 你 需要 什么 资源 ? 

资源 : 人 员 ,硬件 等 。 

时 间 表 : 各 项 任务 的 完成 时 间 和 相互 依存 关系 。 

2) 定义 测试 主题 

根据 被 测 程序 功能 的 等 级 关系 ,可 以 将 程序 功能 分 解 为 各 个 主题 ,并 建造 相应 的 表现 应 
用 程序 功能 的 测试 计划 树 。 测 试 计划 树 是 测试 计划 的 一 种 图 形 表现 。 它 是 根据 测试 主题 组 
织 的 测试 分 级 表 , 每 一 个 主题 包含 对 应 被 测 程序 模块 需要 进行 的 测试 。 

在 测试 计划 工具 栏 上 单 击 New Folder 转 按 钮 就 可 以 在 选 定 的 测试 主题 下 创建 新 的 测 
试 主题 。 测 试 主题 反映 在 测试 计划 树 中 就 是 一 个 文件 夹 ,测试 人 员 在 测试 计划 树 上 创建 测 
试 主题 后 可 以 在 其 中 继续 创建 需要 的 测试 。 

3) 定义 测试 

这 里 测试 人 员 要 为 测试 计划 树 上 的 测试 主题 设计 测试 ,并且 能 够 把 测试 与 指定 的 缺陷 
关联 。 

添加 测试 到 测试 计划 树 的 过 程 如 下 : 
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步骤 一 : 在 测试 计划 树 上 选 定 一 个 测试 主题 文件 夹 , 单 击 New Test ze 按钮 ,打开 创建 
新 测试 对 话 框 ,如 图 6-29 所 示 , 选择 测试 类 型 ,输入 测试 名 称 , 单 击 “ 确 定 ” 按 钮 进入 
Required Fields 用 户 定义 字段 对 话 框 , 如 图 6-30 所 示 , 填 和 人 Level, Reviewed, Priority 的 属 
性 值 , 单 击 “ 确 定 ” 按 钮 完成 新 测试 的 创建 。 


xi 
所 有 字段 都 必须 填写 - 
= ^ wa[ E mes[ TR 
me mw [y] reu —— NM 
Test Nane 
[ws ][ m || 5 [we j| ww] 
图 6-29 创建 新 测试 图 6-30 Required Fields 对 话 框 


步骤 二 : 在 Details 详细 信息 标签 页 填 和 人 测试 细节 。 

步骤 三 : 在 Attachments 附件 标签 页 为 新 测试 添加 必要 的 附件 。 

4) 创建 需求 覆盖 

测试 主题 中 设计 的 测试 要 和 需求 树 上 的 一 个 或 多 个 需求 相连 接 ,实现 对 测试 需求 的 覆 
盖 。 对 于 整个 测试 项 目 来 说 ,测试 计划 树 中 的 测试 与 测试 需求 的 对 应 是 最 基础 的 一 种 连接 ， 
我 们 可 以 通过 连接 测试 计划 树 中 的 测试 到 需求 树 中 的 一 个 或 多 个 需求 来 创建 测试 覆盖 。 一 
个 测试 能 够 覆盖 一 个 或 多 个 需求 ,一 个 需求 也 可 以 覆盖 一 个 或 多 个 测试 。 例 如 ,对 于 
TestDirector_Demo 工程 中 的 航班 预定 系统 。 单 击 Test Plan 标签 页 ,在 测试 计划 树 的 
Profiling 文件 夹 下 ,展开 Registration 文件 夹 并 选择 Phone(Contact Information) 测试, 如 
图 6-31 所 示 。 

Phone(Contact Information) 测 试 检查 用 户 的 联系 电话 是 否 为 空 。 在 需求 范围 标签 页 ， 
我 们 可 以 看 到 该 测试 覆盖 了 如 下 三 个 需求 主题 : 

* Mercury Tours Application\Profiling 

* Application UsabilityNVCorrect Error Messages 

* Profile ManagementV Registration VCustomer Personal Information 

创建 需求 覆盖 有 两 种 方式 : 连接 需求 到 测试 和 连接 测试 到 需求 。 下 面 我 们 通过 给 
Phone(Contact Information) 测 试 添 加 需求 Profile Management\ Registration \Customer 
Identification Information 来 演示 创建 需求 覆盖 的 过 程 。 

方式 一 : 连接 需求 到 测试 。 

步骤 一 : 打开 计划 测试 标签 页 ,如 图 6-32 Bros ,在 测试 计划 树 上 选择 Phone(Contact 
Information) 测 试 。 它 的 具体 位 置 在 : Subject Profiling Registration Phone( Contact 
Information) 。 

步骤 二 : 进入 “需求 范围 "标签 页 , 单 击 工 具 栏 “ 选 择 需求 ”按钮 ,在 右边 打开 需求 树 窗 
口 。 在 需求 树 中 找到 需要 添加 的 需求 : Profile Management\ Registration V Customer 


Identification Information 。 
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ercury TestDirector 8.0 SP2 — Microsoft Internet Explorer ini 

XPD SED SEV KEW IAV HHW E 

QFE -OWE PMN ER oli 

地 址 部 [I] http://1ocalhost/TDBIN/start_a hta BREJKA 
TestDirector8.0 (Mj, 


IR ELI 退出 


Description. 
Possibility to cust 


[F Subject 
E? Unattached 
由 - 回 Mercury Tours Site 
Ej Cj Profiling 
Ei CJ. Registration 
M Confirm Password 
M? Email (Contact Information) 
MË First & Last Nane Contact 
M? Mailing Information 
M? Password 
M? Phone (Contact Informatior 
ME Registration 
M* Registration Page 
M° User Nane 
WH Simr0n/Sigemr0ff 
W- Edit Profile 
MÀ Profiling 
由 加 Flight Reservation 
0 Cruises 
e Itinerary 
日 Compiled Modules 
Tf Flight Deno Module 


The correct error m 
This information is 


图 6-31 Phone 测试 的 需求 范围 
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TestDirector 8.0 (f| 
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F Subject 
E? Unattached 
-0 Mercury Tours Site 
E Profiling 
E) Cf Registration 
MÊ Confirm Password 
M Email (Contact Information) 
MÊ First & Last Name (Contact 
MÊ Wailing Information 
M Password 
ione Contact Infor 
ME Registration 
M? Registration Page 
M° User Name 
由 - 回 Sig-On/Sign-0ff 
由 - 回 Edit Profile 
M* Profiling 
E-O Flight Reservation 
C Cruises 
由 -器 Itinerary 
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Tf Flicht Deno Module 


Travel Information Source 


Security 
Client System 


on Usability 
- Application Performance 
- Application Reliability 
- Profile Management 
T.1 — Registration 
7.1.1 - Customer Identification Informati o| 
7.1.2 - Customer Personal Information 
Œ T.2 - Profile Editing 
7.3 - Profile Deletion 
8 - Booking System 
9 - Flights Reservation Service 
10 - Reservations Management 


m 
"aounauN 


图 m 


E 


图 6-32 计划 测试 模块 的 需求 范围 标签 页 
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步骤 三 : 选 定 待 覆 盖 需 求 , 单 击 Add to Coverage 添加 到 测试 集合 按钮 将 需求 添加 到 
覆盖 网 格 中 。 也 可 以 通过 鼠标 直接 拖 息 指定 需求 到 覆盖 网 格 的 方式 来 添加 需求 覆盖 , 如 
图 6-33 所 示 。 


Ht QD [E] nep //1ocat hos /TDBIN/ start, a htn Era se” 
€& 9 4$ v IM x TestDirector&o qi 让 


3m 退出 


8-7 Unattached 
由 - 回 Mercury Tours Site 
B- Profiling 
E- Registration 
MÊ Confirm Password 
MÈ Email (Contact Informati 


lient System 


MË First & Last Nane (Contad Usability 
MÊ Mailing Information Performance 
MÊ Password Reliability 


M° Fhone (Contact Informati 
M Registration 
M° Registration Page 
MÉ User Nane 
89) Siemr0vSier0fE 
HIC) Edit Profile 
M. Profiling 
H- Might Reservation 
L3 Cruises 
B0 Itinerary 
E- Compiled Modules 
If Flight Demo Module 


Customer Identification Information 


7.1.2 - Customer Personal Information 
S T2 - Profile Editing 
7.3 - Profile Deletion 
System 


tion Service 
anagem ent 


图 6-33 计划 测试 模块 中 创建 需求 覆盖 


方式 二 : 连接 测试 到 需求 。 我 们 也 可 以 用 TestDirector 的 需求 模块 来 连接 测试 和 
需求 。 
步骤 一 : 打开 需求 管理 模块 ,选择 Coverage View 视图 ,在 需求 树 中 找到 需求 Profile 
ManagementV Registration \Customer Identification Information。 单 击 “ 选 择 测试 ”按钮 ， 
右 侧 打开 测试 计划 树 ,如 图 6-34 所 示 。 


HAEE) nto: /locaahest/TDBTW start, à. hta BLZ Ld 


e>» à v UN * X 8 TestDirector8.0 Qi 


项 目 IR DONUM 退出 


[89x àn5-x|e-a 


E $ Mercury Tours Application [Execution Status [Execution Date [Designer 
V Passed 2002-9-2 12:13:2 cecil td 
X Failed 2002-10-25 11:46 cecil td 
D Wo Run cecil td 
«Passed 2002-10-22 13:05 cecil td 


> Customer Identification Information 
a Customer Personal Information 
Gp» Profile Editing 
2 Profile Deletion 


Sj» Booking System 
= $ Flights Reservation Service 


E o Reservations Banagement 


6-34 测试 覆盖 范围 标签 页 
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步骤 二 : 在 测试 计划 树 中 找到 测试 项 Subject\Profiling\ Registration\Phone(Contact 
Information) , 单 击 Add to Coverage 按钮 将 指定 测试 项 添加 到 需求 网 格 , 如 图 6-35 所 示 。 
同样 地 ,也 可 以 采用 鼠标 直接 拖 搜 测试 项 到 覆盖 网 格 的 方式 为 需求 项 添加 测试 覆盖 


rs AiocalhesVTDBTNstart_a htm 


ET vum xe 


© Application Client System 


[ENT 
LE 
LE. 


E o Profile Management 
日 Registration 
> Custoner Identification Information 
> Custoner Personal Information 
S5 Profile Editing 
3 Profile Deletion 
四 o Booking System 
E o Fights R 
因 o Reservations Banagement 


EPEC 
TestDirector8.0 Gyi | 


3 e ES OE 


vation Service 


图 6-35 添加 测试 覆盖 


5) 设计 测试 步骤 


测试 计划 树 创 建 完 成 后 ,我 们 就 应 


0 $r. reury Tours Site 


IR LL 退出 


hdd to Coverage Ctrlth)] 


B Profiling 
E Registration 
MÊ Confirm Password 
MÊ Email (Contact Information) 
M? First A Last Wone Contact Inf] 


Mj Registration 
MË Registration Page 
ME User Nane 
19.3 simrovsier0tf 
SH Hit Profile 
M Profiling 
由 回 Fight Reservation 


mL Compiled Modules 


该 为 每 一 个 测试 定义 步骤 并 定义 基本 的 测试 信息 。 


测试 步骤 至 少 应 该 包括 程序 执行 的 动作 、 预 期 的 输入 、 期 望 的 输出 和 执行 参数 。 

对 于 手动 测试 ,只 要 完成 创建 步骤 ,就 可 以 按照 计划 立刻 开始 执行 。 对 于 自动 化 测试 ， 
除了 创建 测试 步骤 ,还 需要 使 用 相关 测试 工具 创建 自动 化 测试 脚本 。 

选中 测试 计划 树 中 的 某 项 测试 计划 ,在 右 侧 的 “测试 步骤 ?标签 页 中 单 击 “新 建 步骤 ? 按 
钮 器 就 可 以 进行 测试 步骤 的 设计 。 这 里 需要 详细 描述 Step Name 步骤 名 、 Description 步 
TRIE „Expected Results 期 望 结果 。 

在 航班 订 票 系统 测试 计划 树 中 的 Subject\Profiling\Registration\Password 测试 项 来 
进行 用 户 注册 过 程 中 密码 项 的 测试 , 表 6-3 是 它 的 测试 步骤 。 


表 6-3 Password 的 测试 步骤 


步骤 名 称 描 3k 期 望 结果 
调用 连接 调用 连接 参数 : mercury tours url= 'http: //merc-tours/mtours/ 
servlet/com. Mercurytours . servlet. WelcomeServlet" 
执行 测试 步骤 前 运行 这 一 步 。 
1. 单 击 注册 按钮 。 
uen 2. 完成 有 效 联 系 。 


3. 填写 有 效 User Name 
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ax 
mm "EE" 期 望 结果 
L 输入 密码 的 条 件 : 密码 不 为 空 ,有 效 字符 。 
步骤 一 2. 正确 完成 密码 确认 
APR 3. 单 击 提交 按钮 。 MPA 
4. 检查 下 一 个 页 面 
L 检查 密码 域 的 有 效 最 大 输入 长 度 。 
SRZ: 2. 用 同样 长 度 检查 密码 确认 域 。 
KERK |3 单 击 提交 按钮 。 MP ERRA 
1. 检查 下 一 个 页 面 
1l 在 密码 城 输入 特殊 字符 
2 在 密码 确认 域 输入 同样 字符 。 
pr 3. 单 击 提交 按钮 。 
特殊 字符 。 | 4. 检查 下 一 个 页 面 。 MEERA 
注意 特殊 字符 是 非 字母 数字 字符 ,例如 : — 1G S Rn 
Oct--2(0IEIV€2?/ 
pem L 输入 密码 : 输入 一 些 字符 ,输入 空格 ,输入 字符 。 
2. 同样 字符 输入 密码 确认 域 。 
marat ee 用 户 注册 成 功 
= 4. 检查 下 一 个 页 面 
1， 跳 过 密码 域 和 密码 确认 域 。 给 出 密码 不 能 为 空 
ein 2. 单 击 提交 按钮 。 的 错误 提示 。 用 户 
3 检查 下 一 个 页 面 注册 失败 
BA T RENREN S, 给 出 密码 不 能 为 空 
2. 同样 字符 输入 密码 确认 域 。 R 
密码 中 只 有 的 错误 提示 。 用 户 
ss 3. 单 击 提交 按钮 。 idi 
4 检查 下 一 个 页 面 
6) 自动 测试 


测试 步骤 设计 完成 后 ,我 们 就 可 以 以 这 些 步骤 为 模板 来 创建 自动 化 测试 。 但 并 不 是 所 
有 的 测试 都 要 使 用 自动 化 方式 ,一 般 来 说 ,测试 对 应 的 需求 覆盖 越 多 , 越 不 适合 进行 自动 化 
测试 。 下 面 描述 了 几 种 不 应 该 执行 自动 化 测试 的 情况 : 
可 用 性 测试 一 一 测试 检查 应 用 程序 的 易 用 性 。 
只 执行 一 次 的 测试 。 
需要 立即 运行 的 测试 。 
基于 用 户 对 程序 的 理解 和 直觉 。 
不 具有 预定 义 结果 的 测试 。 

根据 测试 步骤 生成 自动 化 测试 模板 的 过 程 如 下 : 

步骤 一 : 在 测试 计划 树 中 选择 Subject\Profiling\Registration\Password 测试 项 ,在 右 
边 的 “测试 步骤 标签 页 中 选择 “Create Script” 生 成 脚本 按钮 是 *, 选 择 一 个 自动 化 测试 类 
型 。 自 动 化 测试 类 型 如 表 6-4 所 示 。 


测试 类 型 


第 6 章 ”软件 测试 管理 


表 6-4 自动 化 测试 类 型 
LEE: 


WR-AUTOMATED 


测试 将 通过 WinRunner 执行 


测试 将 通过 Visual API 执行 。TestDirector 的 API 执行 工具 ,能 够 让 你 创 


VAPFTEST 建 和 运行 C Scripts 

LR-SCENARIO 一 个 场景 ,将 通过 LoadRunner 执行 

QUICKTEST-TEST 一 个 测试 ,将 通过 QuickTest Professional 或 Astra QuickTest 执行 
ALT-TEST 和 一 个 测试 ,将 通过 Astra LoadTest 执行 。Mercury Interactive 公司 为 Web 


ALT-SECNARIO 


应 用 程序 的 负载 测试 工具 


QTSAP-TESTCASE 


一 个 测试 ,将 通过 QuickTest Professional for MySAP. com Windows Client 
执行 。Mercury Interactive 公司 为 MySAP. com 应 用 程序 的 功能 测试 工具 ， 
适用 于 Windows 95、Windows 98、Windows 2000 和 Windows NT 


XRUNNER 


一 个 测试 ,将 通过 XRunner 执行 。Mercury Interactive 公司 为 X Windows 
应 用 程序 的 自动 化 测试 工具 


VAPI-XP-TEST 


一 个 测试 ,用 Visual APLXP 创建 。TestDirector 开放 测试 架构 API 测试 
工具 


注意 : 假如 你 没有 从 TestDirector 插件 页 安装 合适 的 插件 ,如 下 的 测试 类 型 是 无 效 的 : 
QUICKTEST-TEST, ALT-TEST, XRUNNER,QTSAP-TESTCASE, 

步骤 二 : 单 击 Test Script 测试 脚本 标签 页 就 可 以 看 到 生成 的 测试 模板 。 

步骤 三 : 单 击 Launch 按钮 就 可 以 在 指定 的 自动 化 测试 工具 上 运行 测试 脚本 。 


7) 分 析 测 试 计划 


测试 计划 完成 后 ,测试 人 员 主 要 通过 生成 TestDirector 报告 和 图 表 来 对 测试 计划 进行 
分 析 , 检 查 所 以 测试 项 以 确保 他 们 能 够 满足 既定 的 测试 目标 。 


4. 测试 执行 管理 


执行 测试 是 测试 过 程 的 核心 。 当 应 用 程序 不 断 地 改变 ,需要 对 工程 运行 手动 或 自动 测 
试 来 定位 缺陷 和 评估 质量 。TestDirector 的 TEST LAB 模块 可 以 对 测试 执行 进度 与 质量 
进行 管理 ,测试 执行 管理 的 一 般 流 程 是 : 创建 测试 集 、 制 定 测试 运行 表 、 执 行 手 工 测试 (自动 


测试 ) .分 析 测试 结果 。 
1) 创建 测试 集 


TestDirector 通过 创建 测试 集 来 组 织 测试 执行 ,测试 集 就 是 测试 的 集合 ,有 预先 制订 好 
的 测试 目标 ,包含 测试 项 目 中 的 若干 个 测试 。 根 据 测试 目标 的 不 同 ,测试 集 有 不 同 的 种 类 : 
。 正常 集 (Sanity Set) : 最 基本 的 级 别 ,主要 检查 功能 和 稳定 方面 。 它 包括 最 基本 的 测 
试 ,如 肯定 性 检查 .应 用 程序 整体 功能 确认 等 。 例 如 ,在 航班 订 票 系统 中 ,能 够 测试 

系统 是 否 可 以 打开 航班 文本 框 中 是 否 可 以 输入 日 期 。 


一 般 集 (Normal Set) : 相 较 于 正常 集 能 够 更 深入 地 测试 系统 ,包括 肯定 和 和 否定 两 个 
方面 的 检查 。 
高 级 集 (Advanced Set): 强调 测试 深度 和 广度 。 这 个 集 覆 盖 了 整个 应 用 程序 ,并 测 


试 应 用 程序 的 高 级 选项 。 当 测试 时 间 充 足 时 可 以 运行 这 个 测试 集 。 


回归 集 (Regression Set): 回归 测试 专用 。 一 个 回归 集 包 括 测试 的 正常 集 和 被 修改 
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区 域 的 深入 测试 。 


功能 集 (Function Set) : 测试 应 用 程序 的 子 系 x 
统 。 可 以 包括 单个 属性 或 一 组 属性 。 例 如 ,在 


航班 预订 系统 中 ,一 个 功能 集 能 够 测试 所 有 涉 ”，，。 a 
及 传真 订单 的 活动 ,包括 从 菜单 上 选择 传真 全 


Description 


令 、 输 入 传真 号 码 .复查 和 传送 传真 。 
测试 集 的 创建 需要 在 TEST LAB 标签 页 进行 。 
步骤 一 : 新 建 测试 集 。 单 击 工具 栏 中 的 “创建 测试 

集 ” 明 按钮 ,打开 新 建 测试 集 对 话 框 ,如 图 6-36 所 示 。 
输入 测试 集 名 称 和 描述 信息 , 单 击 OK 按钮 完成 测试 
集 创建 。 单 击 “ 测 试 集 属性 ”标签 页 ,如 图 6-37 所 示 , 这 Seed || ves | 
里 可 以 设置 测试 集 状态 以 及 开启 和 关闭 的 日 期 ,为 测 

试 集 添加 附件 ,设置 测试 失败 事件 规则 等 。 


6-36 ”新 建 测试 集 


通知 C 如 果 自 动 测试 失败 ， 请 重新 运行 该 测 坛 ， 最 多 可 运行 Hx 


P D 运行 而 二 清理 在 rm F s 


JB. TEM PR EE CUR RR 
e 不 采取 任何 措施 
O 停止 测试 信 
O 重新 运行 测试 集 
可 重新 运行 测试 集 的 景 大 次 数 是 | 


图 6-37 测试 集 属性 


步骤 二 : 往 测试 集中 添加 测试 。 在 “执行 表格 ”标签 页 或 “执行 流 ” 标 签 页 中 单 击 工具 栏 
中 的 “选择 测试 ”按钮 ,打开 右 侧 窗口 面板 显示 测试 计划 树 。 从 中 选择 一 个 文件 夹 或 测试 单 
击 “ 添 加 测试 到 测试 集 " 按 钮 ,将 选 定 测试 添加 到 当前 测试 集中 ,如 图 6-38 所 示 。 这 里 也 可 
以 使 用 鼠标 直接 拖 电 的 方式 添加 测试 。 

2) 制订 测试 运行 流程 

测试 执行 流程 中 ,测试 人 员 应 该 明确 定义 测试 执行 的 指定 日 期 和 时 间 以 及 执行 条 件 , 执 
行 条 件 依赖 于 测试 执行 流程 中 其 他 已 定义 测试 的 结果 。 通 过 设置 条 件 , 测 试 人 员 能 够 设置 
测试 执行 的 顺序 ,提供 了 测试 执行 管理 的 效率 。 

例如 : 在 New Order 测试 集中 ,测试 人 员 能 够 定义 Test2 必须 在 Testl 结束 后 执行 ; 
Test3 必须 在 Test2 通过 后 执行 等 诸如 此 类 的 条 件 。 

测试 执行 流程 以 图 形 的 方式 在 Execution Flow 行 流标 签 页 显示 。 

在 测试 执行 流程 图 中 ,测试 集 以 测试 集 图 标 汶 表现 ,测试 以 测试 图 标 表现 ,由 于 测试 工 
具 的 不 同 , 不 同 的 测试 会 由 不 同 的 图 标 表 示 。 箭 头 虚线 -- 一 表示 该 测试 不 具有 条 件 。 箭 头 
实 线 一 标识 一 个 条 件 , 若 箭头 实 线 为 蓝 色 , 则 表示 条 件 状态 设置 为 Finished; 假如 箭头 实 
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图 6-38 往 测试 集中 添加 测试 


线 为 绿色 , 则 表示 条 件 状态 设置 为 Passed。 图 6-39 是 航班 订 票 系统 测试 集 Mercury Tours 
Sanity 的 测试 执行 流程 图 。 
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图 6-39 测试 执行 流程 图 


3) 执行 手工 测试 

执行 手工 测试 需要 测试 人 员 按 照 计 划 测 试 期 间 定义 的 测试 步骤 执行 测试 ,大 致 流程 如 下 : 
(1) 按照 测试 步骤 执行 应 用 程序 。 

(2) 比较 实际 结果 与 预期 结果 。 

(3) 标识 每 个 步骤 的 通过 或 失败 状态 。 

COD 对 于 失败 的 步骤 ,应 说 明 应 用 程序 的 实际 响应 ,根据 预先 定义 的 执行 条 件 判 定 测试 
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是 否 失 败 。 

TestDirector 执行 手工 测试 的 步骤 如 下 : 

步骤 一 : 进入 TEST LAB 模块 ,选择 测试 集 root\ Mercury Tours HTML Edition) \ 
Version 1. 0\Functionality\Mercury Tours Sanity, 在 “执行 表格 ”标签 页 选中 手工 测试 [1] 
Flight Reservation, ,如 图 6-40 所 示 。 


ME [Peiling 


M [Itinersry Page 
@ [site stability 


日 -者 Punetionality And Ur 
Aa Mercury Tours Puneti: 
a Mercury Tours Sanity 
AM Mercury Tours UE 
Ed 

EI Performance And Load 
AM Mercury Tours Leedi 


ad Performance Under Loi 
Q9 Version 1.01 
ey Tours Gere Käi tion) 
SY Version 1.01 
B Tuctiendlity tnd Ur 
Dj terere And Lond 
D Mercury Towrs Mninistration 


同上 次 运行 结果 
Je rendu feud. 


图 6-40 选中 手工 测试 


步骤 二 : 单 击 工具 栏 “运行 ?按钮 打开 Manual Runner 对 话 框 ,如 图 6-41 所 示 。Run 
Name, Tester 等 信息 编辑 完成 后 , 单 击 Exec Steps 执行 步骤 按钮 [D 执行 步 又 ,弹出 
Parameters Values for Run 对 话 框 要 求 测试 人 员 输 入 测试 参数 ,如 图 6-42 所 示 。 输 入 预先 
设计 好 的 测试 用 例 后 , 单 击 OK 按钮 进入 测试 执行 步骤 表 对 话 框 ,如 图 6-43 所 示 。 


mem Ei mawe[ — [9 
Tome verston: — — H8] 


图 6-41 Manual Runner 对 话 框 
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NA 


ww [2s — —Rl 
二 


Nane Value 


class of service 
credit card expiration 
credit card type 

E depart flight 

m" meal preference 

[< 一 mmber of passengers 
Em 

= [return flight 

The [round or oneway 

The Sane as billing address: 
ticketless travel: 


to it in order to guide a us 


L. manual Runner Test Set: (Mercury Tours Sanity? Test: Ilr ed xj 
[e m| e|- || o = ge | meas: a -0 © 


Step Name [Source Tes|Status. [Exec Date |Exec Time 


Connect | [> No Run 2010-10-20 4:03:23 
SigOn te Signr0n — D» No Run 2010-10-20 4:03:23 
Find Fligh'Find Fligh > No Run 2010-10-20 4:03:23 
Select FliSelect Fli; D» No Run 2010-10-20 4:03:23 
Book Fligh Book Fligh D» No Run 2010-10-20 4:03:23 
Flight ConFlight Con: > No Run 2010-10-20 4:03:23 
Print Conf:Flight Con: P> No Run 2010-10-20 4:03:23 


图 6-43 ”测试 执行 步骤 表 


步骤 三 : 在 测试 执行 步骤 表 对 话 框 中 ,测试 人 员 可 以 根据 实际 测试 结果 标识 每 一 个 测 
试 步骤 的 状态 。 单 击 图 标 国 可 以 打开 测试 执行 步骤 详细 对 话 框 ,如 图 6-44 所 示 , 这 里 可 以 
查看 到 更 多 的 关于 测试 步骤 的 信息 。 单 击 qu 按钮 可 以 重新 回 到 测试 执行 步 又 表 。 

如 果实 际 结果 与 预期 的 结果 相同 Soit So 按钮 。TestDirector 为 这 个 步骤 添加 一 个 绿 
色 的 检查 标志 并 改变 步骤 状态 为 Passed( 若 想 一 次 Pass 所 有 的 测试 步 又 , 单 击 刀 按钮 箭头 
并 选择 “全 部 通过 ”)。 

假如 实际 结果 与 预期 结果 不 一 致 ,在 图 6-44 中 的 Actual Result 框 输入 实际 结果 并 单 
击 鼎 按钮 。TestDirector 将 添加 一 个 红色 的 “X” 到 这 个 步骤 ,并 改变 这 个 步骤 的 状态 为 
Failed( 若 想 一 次 Fail 所 有 的 测试 步骤 , 单 击 外 按钮 箭头 ,并 选择 “全 部 失败 ”)。 

若 发 现 一 个 应 用 程序 缺陷 , 则 可 单 击 医 按 钮 .弹出 添加 缺陷 对 话 框 ,在 弹出 的 对 话 框 中 
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x 
iS yf os» le 

Step (1/7): |Print Confirmation 
2010-10-20 4:03:23 — |Feiled - 
Description: 

[Print the Flight Confirmation. Check each of the 


- Click the Print It! button. 
- Select the Print option from the File menu 


4I D 
Expected Result- 


4I , 
Actual Result: 
4I D 


图 6-44 测试 执行 步骤 细节 
添加 缺陷 。TestDirector 会 自动 在 测试 运行 和 新 的 缺陷 之 间 建 立 连 接 。 添 加 缺陷 的 具体 方 
法 见 后 续 章 节 。 


测试 步骤 执行 记录 结束 后 ,如 图 6-45 所 示 , 单 击 硬 按钮 返回 TEST LAB 模块 ,如 图 6-46 
所 示 ,测试 [1]Flight Reservation 被 标记 为 Failed 。 


|e &|*y e| ete] | o oe omes E 


Connect to Connect — sy Passed 2010-10-20 4:15:13 
Siemron to Siemr0n — 3 Failed 2010-10-20 4:15:15 
Find Fligh ind Fligh sy Passed 2010-10-20 4:15.18 
Select Fli;Select Flii«/ Passed 2010-10-20 4:15:19 
Book Fligh Book Fligh «/ Passed 2010-10-20 4:15:45 
Flight Con-Flight Coni Passed 2010-10-20 4:15:47 
Flight Con: $e Failed 2010-10-20 4:15:48 


图 6-45 测试 步骤 执行 完毕 


4) 执行 自动 测试 

自动 测试 可 以 在 安装 了 相应 测试 工具 的 本 地 计算 机 上 或 远程 主机 上 自动 运行 ,执行 自 
动 测试 时 ,TestDirector 会 自动 打开 所 选 定 的 测试 工具 ,运行 这 个 测试 ,并 向 TestDirector 
中 输出 测试 结果 。 如 果 指 定 远程 主机 运行 某 个 既 包 含 自动 测试 又 包含 手动 测试 的 测试 集 ， 
当 执行 其 中 的 手动 测试 时 ,TestDirector 会 发 送 一 封 E-mail 到 指派 的 测试 人 员 ,告知 测试 运 
行 的 情况 ,被 指派 测试 人 员 按 要 求 在 指定 的 主机 上 手动 地 运行 这 个 测试 。 

执行 自动 测试 先 要 选择 测试 项 ,然后 单 击 工具 栏 上 的 芒 运行 “运行 测试 按钮 ,弹出 自 
动 测试 执行 对 话 框 , 如 图 6-47 所 示 。 我 们 可 以 在 图 6-47 中 看 到 ,Run on Host 项 要 求 测试 
人 员 指 定 执行 测试 的 主机 , 单 击 按钮 防 运行 “就 可 以 开始 执行 自动 测试 。 
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图 6-46 ”测试 执行 
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图 6-47 ”自动 执行 测试 


5) 分 析 测 试 结果 

执行 测试 后 ,TestDirector 会 详细 地 给 出 测试 及 测试 步骤 的 中 间 状 态 和 结果 。 这 些 内 
容 能 够 有 效 地 帮助 测试 人 员 了 解 测试 进程 ,完善 测试 计划 和 需求 ,提供 测试 效率 。 

TestDirector 提供 了 多 种 查看 测试 数据 的 途径 。 在 TEST LAB 的 执行 表 标 签 页 能 提 
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供 测试 步骤 状态 及 测试 结论 等 信息 , 选 定 测试 后 ,在 右键 菜单 单 击 “ 测 试 运行 属性 ”菜单 项 ， 
打开 测试 运行 属性 对 话 框 ,如 图 6-48 所 示 , 这 里 从 详细 信息 、 所 有 运行 附件. 配置 .运行 时 
间 、 历 史记 录 6 个 方面 详细 描述 了 测试 项 从 开始 定义 到 执行 结束 的 各 项 状态 。 


蕊 测试 运行 尾 性 H 


T WRR: [1]Returnine Date | 4» pl | vo! (e $ 
zaza: -|F ZZ O| xie| t sR. 0 $e.. 
[Bun Fane atus [Duration c Date [Exec Time — [Tester 
19-2.10-51-T $4 Failed — KITE gy 2002-9-2 (11:03:05 —— slice td 
附件 
配置 
运行 时 间 
tep Nane tatus a [ Description: 
ennect to Mercure Passed [Open your Web browser and type the Qhttp://nerc-tours:8080/servlets/c 
历史 记录 ign-Ün to Mercury? Passed 
Preparation Y Passed q ] p 
tep 1: Departing Passed Expected. Actual: 
> n [The Mercury Toif 
tep 2: Sane Deps We Failed - z 
x Il A Iu G 


图 6-48 测试 运行 属性 


另外 ,TestDirector 8. 0 的 图 表 工 具 , 也 支持 测试 数据 报表 、 图 表 的 生成 和 显示 ,并 且 能 
够 帮助 测试 人 员 快 速 得 出 结论 ,直观 地 查看 不 同 测试 项 之 间 的 关联 。 图 6-49 是 测试 集 
Mercury Tours Functionality 的 测试 结果 。 


5. 缺陷 管理 


TestDirector 不 仅 能 记录 缺陷 的 各 种 数据 ,还 能 通过 错误 报告 跟踪 数据 的 来 源 。 它 的 
缺陷 管理 流程 是 : 添加 缺陷 、 缺 陷 检查 、 修 复 缺陷 、 重 构 测试 验证 缺陷 ,分 析 缺 陷 数 据 。 

1) 添加 缺陷 

在 测试 执行 过 程 中 ,测试 人 员 发 现 问题 后 会 报告 缺陷 。 从 TestDirector 的 运行 机 制 来 
说 ,就 是 缺陷 必须 要 和 某 个 测试 项 相关 联 ,并 且 这 种 关联 是 单 向 的 , 即 只 能 从 测试 连接 缺陷 ， 
不 能 凭空 地 添加 缺陷 让 它 和 某 个 测试 相连 接 。 具 体 方 法 见 “3. 测试 执行 管理 "中 的 内 容 。 


这 里 介绍 缺陷 添加 的 基本 步骤 。 
步骤 一 : Defects 模块 就 是 缺陷 管理 模块 ,以 Defect Grid 缺陷 网 格 方式 显示 缺陷 ,如 


图 6-50 所 示 。 在 图 6-50 中 我 们 可 以 看 到 缺陷 的 状态 (Status) 有 6 Fh: Close 关闭 ; Fixed 
已 修复 ; New 新 建 ; Open 打开 (新 建 后 被 开发 人 员 接 受 ); Reject 拒绝 (新 建 后 被 开发 人 员 
拒绝 ); Reopen 重新 打开 。 
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图 6-49 Mercury Tours Functionality 测试 结果 
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图 6-50 缺陷 管理 模块 
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步骤 二 : SG STIL DA" Tz HL mie... ,打开 Add Defect 添加 缺陷 对 话 框 ,如 图 6-51 
所 示 。 填 写 缺 陷 相 关 信息 (红色 信息 框 Summary 为 必 填 项 ) , 单 击 “ 确 定 ” 按 钮 完成 缺陷 提交 。 

步骤 三 : 缺陷 添加 完毕 后 ,可 以 通过 菜单 “视图 ”一 “关联 的 测试 查看 缺陷 与 测试 的 连 
接 情 况 , 如 图 6-52 所 示 。 
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2) 检查 缺陷 

由 于 测试 项 目 中 缺陷 的 数量 比较 多 ,被 测 软件 存在 相似 功能 模块 以 及 测试 人 员 的 分 布 
式 工作 模式 等 原因 的 存在 ,可 能 会 导致 缺陷 之 间 出 现 相似 定义 或 相同 定义 的 情况 。 对 于 新 
添加 的 缺陷 ,测试 人 员 都 要 进行 缺陷 检查 ,以 确定 缺陷 是 否 已 存在 或 有 相似 缺陷 存在 。 

在 添加 缺陷 时 ,输入 缺陷 基本 信息 后 , 单 击 工具 栏 上 的 Matching Defects 查找 类 似 缺 陷 
按钮 国 目 ,如 果 有 相似 的 缺陷 ,就 会 弹出 图 6-53 所 示 的 对 话 框 。 
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图 6-53 类 似 的 缺陷 


3) 修复 缺陷 
缺陷 由 测试 人 员 报 告 项 目 经 理 或 质量 保证 员 确 认 后 ,将 被 指派 给 项 目 开发 小 组 进行 缺 
陷 修 复 。 开 发 人 员 完成 修复 缺陷 后 就 可 以 在 TestDirector 的 Defects 模块 修改 对 应 缺陷 的 
相关 信息 ,并 将 缺陷 的 状态 改 为 Fixed( 已 修复 ) 或 Rejected( 拒 绝 ) 。 

在 Defects 模块 内 选中 缺陷 后 , 单 击 Defect Details 缺陷 详细 信息 按钮 于 ,打开 缺陷 详 
细 信 息 对 话 框 ,如 图 6-54 所 示 ,在 这 里 可 以 对 已 修复 缺陷 信息 进行 修改 。 
| ae joje: mjt [7] 
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4) 验证 缺陷 

开发 人 员 修 复 缺陷 后 ,要 重新 指派 给 测试 人 员 进 行 验证 。 也 就 是 说 ,测试 人 员 要 验证 
Fixed 状态 的 缺陷 ,如 果 验 证 通过 ,将 缺陷 的 状态 改 为 Closed, 关 闭 缺陷 ; 否则 ,将 缺陷 的 状 
态 改 为 Reopen, 重 新 打开 缺陷 。 

5) 分 析 缺 陷 数据 

TestDirector 的 报表 图 表 工 具 可 以 生成 各 种 缺陷 分 析 图 表 , 测 试 人 员 使 用 TestDirector 
整理 缺陷 数据 并 做 出 趋势 分 析 , 指 导 后 续 的 测试 工作 。 


6.9 小 结 


本 章 主要 介绍 了 软件 测试 管理 的 内 容 和 测试 管理 工具 TestDirector 的 应 用 。 测 试管 理 
内 容 众多 ,知识 点 比较 分 散 ,但 测试 管理 毕 竞 仍 属于 软件 项 目 管理 的 范畴 ,读者 可 以 结合 软 
件 工程 中 项 目 管理 部 分 的 内 容 来 学 习 , 加 强 知识 的 横向 联系 。TestDirector 是 一 个 基于 
Web 的 测试 管理 系统 ,功能 强大 、 操 作 简单 ,读者 可 利用 书 中 的 示例 及 测试 管理 实践 来 提高 
对 于 该 软件 的 掌握 程度 。 


习题 


. 为 什么 要 对 软件 测试 进行 管理 ? 内容 是 什么 ? 
.“ 测 试 计划 在 制订 完毕 后 就 必须 严格 执行 ,不 能 更 改 "”。 这 种 说 法 对 吗 ? 为 什么 ? 
.如 何 来 制订 测试 停止 的 标准 ? 
. 在 测试 过 程 中 发 现 软件 缺陷 应 如 何 处 理 ? 
. GB/T 9386 一 1988 标准 规定 的 测试 文档 分 几 类 ? 简 述 它们 的 内 容 。 
.如 何 评价 测试 过 程 ? 
- 什么 样 的 组 织 结构 能 有 利于 测试 工作 的 顺利 展开 ? 
. I TestDirector 的 功能 和 测试 管理 流程 。 
. TestDirector 能 执行 测试 用 例 吗 ? 试 分 析 其 工作 流程 。 
10. 请 描述 总 结 6. 8. 4 节 中 利用 TestDirector 来 管理 示例 项 目 “ 航 班 订 票 系统 测试 项 
目 ” 的 过 程 。 


o 0 30 0c Dr- 


单元 测试 实施 | 


单元 测试 可 以 看 作 是 编码 工作 的 延续 ,由 程序 员 来 完成 。 经 过 了 单元 测试 的 代码 才 是 已 
经 完成 的 代码 ,提交 产品 代码 时 也 要 同时 提交 测试 代码 。 测 试 部 门 可 以 做 一 定 程 度 的 审核 。 

作为 一 个 程序 员 来 说 ,每 天 都 在 做 单元 测试 。 写 一 个 方法 或 函数 ,肯定 要 进行 一 定 规模 
的 运行 调试 ,以 检验 该 方法 或 函数 的 功能 ,有 时 还 需要 查看 输出 结果 。 这 些 工作 属于 单元 测 
试 的 范畴 。 但 这 种 测试 是 很 不 完整 的 ,可 能 会 遗留 大 量 的 互相 影响 的 错误 , 当 这 些 问题 暴露 
出 来 后 更 是 会 出 现 难于 调试 ,大 幅度 提高 测试 和 维护 成 本 等 问题 。 可 以 说 ,进行 充分 的 单元 
测试 ,是 提高 软件 质量 降低 开发 成 本 的 必由之路 。 对 于 程序 员 来 说 , 养 成 对 自己 写 的 代码 
进行 单元 测试 的 习惯 ,不 但 可 以 提高 代码 质量 ,而 且 还 能 提高 自己 的 编程 水 平 。 

要 进行 充分 的 单元 测试 ,我 们 必须 掌握 系统 化 的 测试 理论 ,遵循 工程 化 的 测试 流程 ,还 
要 善于 利用 各 种 单元 测试 工具 。 

单元 测试 理论 内 容 在 前 述 章 节 中 已 详细 介绍 ,本 章 主要 描述 几 个 典型 单元 测试 工具 的 

本 章 要 点 : 

。 单元 测试 的 对 象 流程。 

。 常用 单元 测试 工具 。 

* PC-Lint 的 应 用 。 

。JUnit 应 用 。 

* NUnit 应 用 。 


gi 单元 测试 解决 方案 


7.1.1 单元 测试 的 对 象 


单元 测试 是 对 最 小 的 可 测试 软件 元 素 ( 单 元 ) 实 施 的 测试 , 它 所 测试 的 内 容 包括 单 元 的 
内 部 结构 (如 逻辑 和 数据 流 ), 以 及 单元 的 功能 和 可 观测 的 单元 行为 。 使 用 白 盒 测试 方法 测 
试 单元 的 内 部 结构 ,使 用 黑 盒 测 试 方法 测试 单元 的 功能 和 可 观测 的 行为 。 

不 同 的 开发 方式 中 ,单元 测试 的 对 象 是 不 同 的 。 一 般 认 为 ,结构 化 软件 的 单元 测试 以 模 
块 .函数 和 过 程 作为 测试 的 最 小 单元 ; 面向 对 象 软件 的 单元 测试 以 类 作为 最 小 单元 ,以 方法 
作为 测试 重点 。 
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单元 测试 的 正确 实施 能 够 有 效 地 保证 局 部 代码 质量 ,改良 项 目 代码 的 整体 结构 ,降低 测 
试 、 维 护 和 升级 的 成 本 ,使 开发 过 程 适应 需求 变更 ,提升 程序 员 的 设计 和 编程 能 力 。 


7.1.2 单元 测试 的 流程 
1. 单元 测试 的 人 员 


单元 测试 需要 设计 人 员 ,编码 人 员 和 测试 人 员 共 同 参 与 完成 。 

设计 人 员 主 要 负责 制订 和 维护 单元 测试 计划 ,设计 单元 测试 用 例 及 单元 测试 过 程 ,生成 
测试 评估 报告 。 设 计 测 试 需要 的 驱动 程序 和 桩 。 根 据 单元 测试 发 现 的 缺陷 提出 变更 申请 。 

编码 人 员 负 责编 写 测试 代码 ,如 驱动 模块 和 桩 模块 等 ,执行 单元 测试 。 

测试 人 员 主 要 负责 对 测试 过 程 及 测试 结果 进行 必要 地 监督 和 协助 。 


2. 单元 测试 的 工作 内 容 和 流程 


单元 测试 的 工作 分 5 个 阶段 : 
。 制订 单元 测试 计划 。 

。 设计 单元 测试 。 

* 实施 单元 测试 。 

* 执行 单元 测试 。 

。 评估 单元 测试 。 
具体 内 容 如 表 7-1 所 示 。 


表 7-1 单元 测试 工作 内 容 


活 动 输 入 输 ”出 执行 人 员 
制订 单元 测试 计划 ae 单元 测试 计划 设计 人 员 
单元 测试 计划 单元 测试 用 例 
设计 单元 测试 设计 模型 设计 单元 测试 驱动 模块 设计 人 员 
实施 模型 设计 单元 测试 桩 模块 
实施 单元 测试 单元 测试 用 例 驱动 模块 和 桩 模块 编码 人 员 
实施 模型 
单元 测试 计划 
执行 单元 测试 单元 测试 用 例 测试 结果 编码 人 员 
被 测试 单元 
驱动 模块 和 桩 模块 
评估 单元 测试 dg 测试 评估 摘要 设计 人 员 和 测试 人 员 


在 单元 测试 工作 过 程 中 ,设计 人 员 负 责 开发 设计 模型 和 实施 模型 ,并 以 此 来 制订 单元 测 
试 计划 ,设计 测试 用 例 , 设 计 驱 动 模块 和 桩 模块 ; 编码 人 员 根 据 设计 好 的 测试 用 例 编写 单元 
测试 驱动 模块 和 桩 模块 ,并 执行 单元 测试 ,生成 测试 日 志 ,如 果 发 现 程序 缺陷 ,就 提出 变更 请 
求 ,更 改 相 关内 容 ; 最 后 ,设计 人 员 和 测试 人 员 共同 来 评估 单元 测试 ,编制 测试 摘要 和 测试 
总 结 。 
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在 这 个 流程 中 我 们 需要 注意 两 点 : 

第 一 ,编码 人 员 在 执行 单元 测试 时 主要 采用 交叉 测试 的 方法 , 即 编码 人 员 相 互 测试 对 方 
的 代码 ,这 是 因为 编码 人 员 比 较 容易 发 现 别 人 代码 中 的 缺陷 。 

第 二 ,单元 测试 有 静态 和 动态 之 分 ,单元 测试 过 程 要 兼顾 静态 测试 和 动态 测试 。 一 般 来 
讲 , 先 进行 人 工 静 态 检查 ,再 执行 动态 执行 跟踪 。 

人 工 静 态 检查 主要 是 保证 代码 算法 的 逻辑 正确 性 (尽量 通过 人 工 检查 发 现代 码 的 逮 辑 
错误 ) 清晰 性 、 规 范 性 、 一 致 性 .算法 高 效 性 ,并 尽 可 能 地 发 现 程序 中 没有 发 现 的 错误 。 

动态 单元 测试 是 通过 设计 测试 用 例 ,执行 待 测 程序 来 跟踪 比较 实际 结果 与 预期 结果 从 
而 发 现 错误 。 经 验 表明 ,使 用 人 工 静 态 检查 法 能 够 有 效 地 发 现 30% 到 70% 的 逻辑 设计 和 编 
码 错误 。 但 是 代码 中 仍 会 有 大 量 的 隐 性 错误 无 法 通过 视觉 检查 发 现 ,必须 通过 跟踪 调试 法 
细心 分 析 才 能 够 捕捉 到 。 所 以 ,动态 跟踪 调试 方法 是 单元 测试 的 重点 与 难点 。 


7.1.8. 自动 化 单元 测试 的 构建 


所 谓 测试 ,是 一 种 产品 质量 保证 的 手段 。 按 照 需求 规格 说 明 书 制造 了 一 件 产品 ,那么 谁 
来 确保 这 个 产品 符合 了 需求 规格 的 要 求 呢 ? 这 就 是 测试 。 它 会 根据 需求 规格 说 明 书 设计 一 
系列 的 场景 和 用 例 ,来 对 产品 进行 测试 ,看 看 产品 是 不 是 真 的 符合 产品 需求 规格 说 明 书 中 所 
期 望 的 需求 。 

要 达到 这 个 目标 ,其 实 并 不 十 分 容易 ,因为 一 个 真正 的 系统 ,情况 十 分 复杂 ,里 面 充满 了 
数 不 清 的 分 支 .异常 .边界 条 件 , 其 至 运行 环境 ,将 这 些 东 西 组 合 起 来 ,产生 的 需要 测试 的 点 
将 会 是 一 个 天 文 数字 ,在 有 限 的 时 间 内 做 完 一 个 充分 而 可 靠 的 测试 ,是 不 可 能 的 。 

为 了 将 充分 测试 变 得 可 能 ,一 个 比较 好 的 途径 就 是 分 层 测试 。 做 运行 测试 或 性 能 测试 
的 时 候 , 有 一 个 前 提 , 就 是 假设 整个 系统 的 集成 运行 已 经 没有 问题 了 ,在 运行 测试 或 性 能 测 
试 时 ,将 不 再 考虑 “系统 无 法 正常 运行 "这 种 场景 。 那 么 如 何 保证 集成 运行 没 问 题 呢 ? 我 们 
用 集成 测试 来 检验 。 但 是 在 做 集成 测试 的 时 候 ,我 们 同样 要 基于 一 个 假定 ,就 是 各 个 模块 的 
功能 都 能 够 如 期 正常 工作 。 而 这 一 点 ,又 是 通过 模块 自身 的 功能 测试 来 完成 的 ,这 样 一 层 层 
往 下 推 ,每 个 层次 就 假设 它 所 依赖 的 层次 没有 问题 ,这 样 就 可 以 减少 很 多 场景 以 及 由 这 些 场 
景 引出 的 额外 的 分 支 。 将 原先 一 个 几何 级 数 的 测试 用 例 分 解 成 可 以 接受 的 若干 层次 的 算术 
级 数 的 用 例 ,这 样 一 来 测试 就 变 得 有 可 能 做 好 了 。 

而 单元 测试 , 正 是 这 些 测试 的 最 低层 次 一 一 保证 每 个 函数 ,方法 或 者 说 最 小 功能 模块 正 
确 性 的 一 种 测试 。 通 过 上 面 的 描述 ,我 们 至 少 清楚 了 这 样 几 件 事情 : 

(1) 单元 测试 是 一 种 测试 , 它 不 是 代码 的 一 部 分 。 

(2) 单元 测试 是 最 低层 级 的 测试 , 它 只 保证 函数 的 可 靠 性 ,不 保证 其 他 。 

(3) 单元 测试 应 该 能 保证 每 一 个 函数 的 可 靠 性 。 

单元 测试 是 一 种 测试 ,所 以 我 们 应 该 以 一 种 测试 的 眼光 去 面 对 它 一 一 我 们 要 测试 正常 
情况 ,边界 条 件 , 要 对 它 的 测试 目标 一 一 函数 做 黑 盒 测 试 、 白 盒 测试 ,选择 合适 的 测试 数据 ， 
构建 测试 场景 和 测试 环境 。 总 之 ,一 切 测试 应 该 做 的 事情 ,单元 测试 都 不 应 该 省 略 。 

理论 上 来 说 ,单元 测试 和 其 他 测试 一 样 , 也 是 可 以 纯 手 工 完成 的 ,例如 我 们 可 以 写 一 段 
函数 的 测试 代码 ,然后 输入 我 们 的 测试 输入 ,观察 测试 输出 ,并 跟 期 望 值 做 比较 。 但 是 ,单元 
测试 有 一 点 特殊 性 ,就 是 在 一 个 系统 中 ,函数 会 非常 多 ,变化 也 比 软件 的 功能 频繁 得 多 。 面 
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对 这 么 多 的 函数 ,这 么 频繁 的 变化 , 纯 手 工 测试 是 不 现实 的 。 所 以 ,我 们 必须 要 引入 单元 测 
试 框架 进行 自动 化 测试 。 注 意 ,这 里 的 单元 测试 框架 只 是 实现 自动 化 测试 的 一 个 手段 ,对 单 
元 测试 本 身 并 不 产生 任何 影响 ,没有 单元 测试 框架 ,单元 测试 一 样 也 是 可 以 进行 的 ,只 是 会 
MERZ. 

引入 单元 测试 框架 的 目的 只 是 为 了 自动 化 单元 测试 ,简化 单元 测试 的 步骤 。 所 以 ,对 于 
测试 代码 的 编写 ,我 们 的 重点 应 该 是 : 如 何 搭建 测试 环境 ,测试 场景 ; @ 如 何 选择 测试 用 
例 ; 加 如 何 校 验 测试 结果 。 对 于 测试 代码 本 身 ,应 该 尽 可 能 地 简单 ,能 不 要 使 用 技巧 尽量 不 
要 使 用 ,我 们 的 目的 在 于 测试 ,如 果 测 试 本 身 过 于 复杂 ,我 们 不 能 保证 测试 的 正确 性 ,测试 这 
个 工作 就 白 做 了 。 

另外 ,前 面 提 到 单元 测试 是 对 函数 的 测试 ,因此 ,测试 必须 是 以 函数 为 单位 的 。 每 个 也 
数 应 该 拥有 自己 单独 的 一 个 测试 ,但 是 在 这 个 测试 中 ,我 们 应 该 针对 这 个 函数 的 各 个 方面 ， 
包括 正常 的 ,异常 的 .边界 的 等 ,进行 完善 的 测试 ,这 样 我 们 才能 保证 这 个 函数 的 功能 是 如 我 
们 所 愿 的 。 但 是 单元 测试 不 需要 负责 函数 的 组 合 工作 情况 , 那 应 该 是 低层 次 功能 测试 的 工 
作 , 而 不 是 单元 测试 的 工作 。 这 个 功能 测试 就 是 在 假定 所 有 函数 都 工作 正常 的 基础 之 上 ,对 
这 些 函 数组 合 形成 的 功能 模块 进行 测试 。 这 种 测试 视 情况 而 定 , 可 以 使 用 单元 测试 框架 ,也 
可 以 使 用 其 他 自动 化 测试 方法 或 者 甚至 是 使 用 纯 人 工 测试 。 


7.1.4 单元 测试 工具 


单元 测试 工具 类 型 很 多 ,大 致 可 分 为 静态 分 析 类 动态 执行 类 、 覆 盖 率 检测 类 等 ,也 可 以 
按照 开发 语言 分 类 ,例如 : C/C++ 、Java、. NET 等 。 
单位 测试 由 程序 员 来 执行 , 它 的 对 象 是 各 种 类 型 的 程序 代码 ,所 以 大 家 学 习 单元 测试 需 
要 一 定 的 程序 设计 知识 。 本 章 将 介绍 多 个 单元 测试 工具 ,它们 分 别 是 
。 静态 代码 分 析 工具 PC-Lint。 
* 动态 测试 工具 JUnit 和 NUnit ,考虑 到 XUnit 框架 对 单元 测试 的 重要 性 ,这 里 安排 
其 中 的 两 个 测试 工具 。JUnit 针对 Java 代码 ,NUnit 针对 . NET 代码 。 两 者 都 是 
XUnit 测试 框架 中 的 工具 ,有 很 大 的 相似 性 ,读者 可 结合 自己 情况 进行 阅读 。 


(.2 静态 代码 分 析 工 具 PC-Lint 


7.2.1 PC-Lint 简介 


PC-Lint 是 GIMPEL SOFTWARE 公司 开发 的 C/C++ 软件 代码 静态 分 析 工 具 , 它 的 全 
称 是 PC-Lint/FlexeLint for C/C++ , 它 是 一 个 历史 悠久 ,功能 强劲 的 静态 代码 分 析 工 具 。 它 
的 使 用 历史 可 以 追溯 到 30 多 年 以 前 。 经 过 这 么 多 年 的 发 展 , 它 不 但 能 够 监测 出 许多 语法 逻 
辑 上 的 隐患 ,而 且 也 能 够 有 效 地 提高 程序 的 空间 利用 率 和 运行 效率 。 我 们 可 以 把 它 看 作 是 
一 种 更 加 严格 的 编译 器 。 它 除了 可 以 检查 出 一 般 的 语法 错误 外 ,还 可 以 检查 出 那些 虽然 符 
合 语法 要 求 , 但 很 可 能 是 潜在 的 不易 发 现 的 错误 。 

C 语言 的 灵活 性 带 来 了 代码 效率 的 提升 ,但 相应 带 来 了 代码 编写 的 随意 性 ,另外 C 编译 
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器 不 进行 强制 类 型 检查 ,也 带 来 了 代码 编写 的 隐患 。PC-Lint 识别 并 报告 C 语言 中 的 编程 
陷阱 和 格式 缺陷 的 发 生 。 它 进行 程序 的 全 局 分 析 ,能 识别 没有 被 适当 检验 的 数组 下 标 ,报告 
未 被 初始 化 的 变量 ,警告 使 用 空 指针 、 宛 余 的 代码 等 。 软 件 缺 陷 是 软件 项 目 开发 成 本 和 延误 
的 主要 因素 。PC-Lint 能 够 帮 你 在 程序 动态 测试 之 前 发 现 编码 错误 。 这 样 消除 错误 的 成 本 
更 低 。 

PC-Lint 可 以 帮助 我 们 自动 查找 代码 中 的 可 能 存在 的 很 多 问题 ,包括 变量 值 未 初始 化 、 
数组 访问 越界 、 空 指针 访问 、 内 存 汇 漏 等 问题 。 当 我 们 对 现 有 的 程序 进行 重 构 或 者 增加 新 功 
能 的 时 候 , 使 用 PC-Lint 是 一 个 很 好 的 选择 。 因 为 它 可 以 帮 我 们 检查 代码 中 可 能 潜在 的 问 
题 ,修正 模糊 或 者 不 正确 的 设计 。 

PC-Lint 性 价 比 高 ,使 用 简单 ,易于 学 习 , 并 且 能 够 方便 地 和 软件 开发 测试 流程 相 结 合 。 
它 在 全 球 拥有 广泛 的 客户 群 ,许多 国外 的 大 型 专业 软件 公司 ,例如 Microsoft, 都 把 它 作 为 代 
码 走 查 的 第 一 道 工序 。 对 于 小 公司 和 个 人 开发 者 而 言 ,PC-Lint 也 是 非常 重要 的 。 因 为 ,小 
公司 和 个 人 处 于 对 开发 成 本 的 考虑 ,往往 不 能 拿 出 很 多 很 全 面 的 测试 ,这 时 候 ,PC-Lint 的 
强劲 功能 ,可 以 很 好 地 提高 软件 的 质量 。 

PC-Lint 能 够 在 Windows, MS-DOS 和 OS/2 平台 上 使 用 ,以 二 进 制 可 执行 文件 的 形式 
发 布 , 而 FlexeLint 运行 于 其 他 平台 ,以 源 代码 的 形式 发 布 。 由 于 越 来 越 多 的 用 户 要 求 能 在 
JE PC 的 平台 上 使 用 PC-Lint,GIMPEL 公司 采用 了 标准 C 源码 包 的 方式 发 布 了 FlexeLint， 
这 样 一 来 ,FlexeLint 就 可 被 用 户 方便 地 移植 在 各 种 平台 上 。 

PC-Lint 的 基本 功能 主要 有 以 下 几 点 : 
数据 检查 技术 可 检测 变量 初始 化 和 数据 误 用 的 问题 。 

全 局 数据 流 跟 踪 技 术 , 可 跨越 函数 和 函数 之 间 的 界限 进行 数据 处 理 流程 的 分 析 。 
可 对 100 个 左右 的 库 函 数 进 行 检查 ,这 些 检 查 还 可 以 扩展 到 用 户 函 数 上 。 强 化 类 型 
检查 ,并 可 进行 设置 检查 级 别 选项 。 

函数 变量 和 返回 值 的 用 户 自 定义 语句 检查 。 

找 出 没有 用 的 宏 , 类 型 定义 ,类 ,成 员 变 量 /函数 ,声明 等 ,涉及 整个 工程 。 
检查 未 初始 化 变量 。 

支持 汽车 工业 软件 可 靠 性 协会 标准 (MISRA) 。 

其 他 特殊 的 扭曲 测试 。 

可 以 选择 编码 规范 标准 ,并 随 软 件 包 提 供 了 业界 公认 的 系列 编码 规范 文件 。 

使 用 PC-Lint 在 代码 走读 和 单元 测试 之 前 进行 检查 ,可 以 提前 发 现 程序 隐藏 的 错误 , 提 
高 代码 质量 ,节省 测试 时 间 。 它 还 能 够 提供 编码 规则 检查 ,规范 软件 人 员 的 编码 行为 。 

下 面 内 容 以 PC-Lint 8. 0 为 例 来 演示 该 软件 的 相关 内 容 。 


7.2.2 PC.Lint 的 安装 与 设置 


PC-Lint 的 安装 非常 简单 ,以 PC-Lint 8. 0 为 例 , 运 行 安装 程序 将 其 释放 到 指定 的 安装 
目录 即 可 ,比如 C:\pclint。 接 下 来 我 们 需要 运行 PC-Lint 的 配置 工具 config. exeCconfig 
.exe 在 安装 目录 下 ) 生 成 选项 和 检查 配置 文件 。 配 置 文件 是 代码 检查 的 依据 ,PC-Lint 自 带 
了 一 个 标准 配置 文件 std. lnt, 但 是 这 个 文件 没有 目录 包含 信息 ( 头 文件 目录 ) ,通常 对 代码 
检查 的 时 候 都 需要 指定 一 些 特殊 的 包含 目录 ,所 以 要 在 标准 配置 的 基础 上 生成 针对 某 个 项 
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目 代 码 检 查 的 定制 配置 。 配 置 过 程 是 比较 复杂 的 ,下 面 就 以 Microsoft Visual Studio. NET 
2003 的 开发 环境 为 例 , 介 绍 PC-Lint 配置 config. exe 的 过 程 。 

CD 运行 C:\pclint\config. exe 出 现 如 图 7-1 所 示 的 界面 , 单 击 * 下 一 步 ?按钮 。 

(2) PC-Lint 的 命令 行使 用 说 明 窗 口 ,如 图 7-2 所 示 , 单 击 “ 下 一 步 ” 按 钮 。 

(3) 这 里 选择 创建 或 是 修改 已 存在 的 配置 文件 STD. LNT.STD. LNT 是 PC-Lint 自 带 
的 标准 配置 文件 。 因 为 我 们 是 第 一 次 配置 ,所 以 选择 上 面 的 选项 Create a new STD. LNT， 
这 样 做 不 会 修改 已 有 配置 文件 STD. LNT 的 内 容 , 而 是 创建 一 个 新 的 STD_x. LNT 文件 ， 
文件 名 中 的 x 是 从 a 到 z 的 26 个 英文 字符 中 的 任意 一 个 ,一 般 是 按 顺序 排列 ,从 a 开始 。 
STD x. LNT 文 件 的 内 容 被 初始 化 为 STD. LNT 内 容 的 复制 。 如 图 7-3 所 示 ,使 用 默认 的 
PC-Lint 路 径 ( 新 建 的 STD_x. LNT 将 被 放 在 该 目录 下 ) ,然后 单 击 “ 下 一 步 ” 按 钮 。 


Felcome 


Welcome to the configuration 
PC-lint (TW) for C/C++ 
Updates to PC-lint configuration 


files are made available at 
http://www. ginpel. com or via 


Ginpel Software 
Copyright © 2006 
All rights reserved. 


图 7-1 PC-Lint 配置 欢迎 界面 


PC-lint for C/C++ v8.00 


This configuration wizard will build the following files based on your 
responses to our questions. 


LIN.BAT PC-lint batch file described below 
OPTIONS.LNT contains error suppression options (used by STD. INT) 


The purpose of LIN.BAT is to provide a convenient way to lint files fron the 
command line. From any directory type: 


LIN <options> «file? file... 

LIN. BAT contains e command to run PC-lint and resenbles 
JInstallationlirectoryMALINT-NT — ci Confighirectory? STD. LNT, 

where — CIastalletionirectory? contains your lint executable 
Configlirectory? contains your configuration ( LNT) files 
-iXConfighirectory? assures that file searching begins in 

Note: Installationlirectery an Configlirectory may be the same 

This form of the command line is useful, not only within LIN BAT, but also 


running from within an IDE or editor. For additional information, click 
"Melun" amd on ta Sertion 3 2 


csoka [38 


图 7-2 命令 行使 用 说 明 
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This configuration wizard can create a new STD.LNT file from scratch or you 
can select one you have previously created to be used as your STD. LNT. 
Select your configuration directory and an option below 


C: Vpelint Browse 


Oselect one of your previously created 
STN INT files 


《上 一 步 @)][ 下 =- 步 四 让 [取消 


7-3 创建 新 的 STD_x.LNT 配置 文件 


(4) 选择 编译 器 ,如 图 7-4 Bros ,在 下 拉 列 表 框 中 选择 自己 使 用 的 编译 器 。 如 果 没 有 自 
己 使 用 的 编译 器 ,可 选择 通用 编译 器 Generic Compilers。 这 个 选项 会 体现 在 co-xxx. Int XX 
件 中 ,并 存放 在 前 面 我 们 选择 的 配置 路 径 (C:\pclint) 下 ,在 后 面 配置 选项 我 们 所 选择 的 
Á , LNT 均 会 被 存放 到 这 个 路 径 下 。 


E tr ower ks EPPC (co-mwPPC. 1nt) 

trowerks Win32 x86 (co-mwwin32.1nt) 
Microsoft Visual CH 4.x (co-msc40.1nt) 
Microsoft Visual CH+ 5.x (co-msc50. Int) 
Microsoft Visual CH+ 6.x (co-mse60. lnt) 
DT Visual Cht NET (erae at) 


Power C, Version 1.1, 2.0 (co-poxrc.lnt) 
Symantec (Zortech) C, CH (co-rtc.lnt) 

fC-lint {Symantec C, CH 7.0 (co-scT.lnt) 

options {Texas Inst. TI320 class C compilers (co-t 
TopSpeed C (co-tsc.lnt) 

This inflTurbo C, Turbo C+ and Borland C 3.1 (e BID. 

and willUnix C, C+ (co-unix.lnt) 
Watcon C, C++ (IB bit) (ze-wel6 1nt) 


[5] 7 


图 7-4 选择 编译 器 类 型 


这 里 我 们 选择 Microsoft Visual C++. NET 2003 选项 , 单 击 “下 一 步 按 钮 。 

(5) 选择 内 存 模 型 ,可 以 根据 自己 程序 区 和 数据 区 的 实际 大 小 选择 ,由 于 我 们 的 开发 环 
境 是 32 位 的 Windows, 这 里 使 用 默认 选项 32-bit Flat Model, WA 7-5 所 示 , 单 击 “ 下 一 步 ” 
按钮 。 

(6) 配置 支持 库 ,PC-Lint 对 现在 常用 的 在 编译 时 使 用 的 一 些 软件 库 都 提供 定制 的 配置 
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Architecture 


By default, PC-lint assumes a 32-bit flat model, These assumptions can be 
overridden with the sire options (Cs...) and memory model options (cm...) 
SID.LNT to reflect your most common programming practice 


These options can later be overridden by options on the command line or by 
a specific STD.LNT within a given directory. 


Select a default memory model or architecture: 
O 16-bit Small Model (Cas -si2 -spt 


1ö-bıt Medium Model Large Program, small 
dati 
p 


—— m 
l&-bit Lompact Model ismall program, large 
Dat 

人 moia -一 mm -一 man 


15-bit Large Model ULarge program, Large 


"um 


加 本 -bit Flat Model (Cus 


` 


人 〇 64-bit Windows Cms, -si4, -si 


《上 一 步 @)][ 下 =- 步 四 让 [取消 


图 7-5 选择 内 存 模 型 


信息 ,选择 这 些 定制 信息 有 助 于 开发 人 员 将 错误 或 信息 的 注意 力 集中 在 自己 的 代码 中 。 各 
种 库 的 配置 文件 名 为 lib-xxx. LNT, 配 置 向 导 会 把 选中 库 的 Inc 配置 文件 复制 到 配置 路 径 
下 。 这 里 我 们 选择 了 4 项 : Microsoft Foundation Class Library, Standard Template 
Library, Windows 32-bit 和 Windows NT, 如 图 7-6 所 示 , 完 成 后 单 击 “ 下 一 步 ” 按 钮 。 


Libraries 


You may also specify which libraries you use. Doing so will result in 
placing the appropriate "library options’ files into STD.LNT and copying 
have names of the form LIB-xxx.LIT. Note: Certain compiler options files 
require specific library files to be included If you have chosen such a 
already been checked. 


[ CORBA Library 

Corx Library 

| InMark s zhpp Library 
|VMicrosoft Foundation Class 
[Open Inventer Library 
Rogue Wave Stingray Übjecti 
| Rogue Wave Stingray Objecti 
[Rogue Wave's tools. htt Libr 
Standard Template Library 
[wx forks Library 

Cindows 16-bit 

(ZYindows 32-bit 


SI umi 


7-6 配置 支持 库 


(7) 这 是 一 个 比较 有 意思 的 选项 ,就 是 让 你 选择 是 否 支持 为 使 用 C/C++ 编程 提出 过 重 
要 建议 的 作者 的 一 些 关于 编程 方面 的 个 人 意见 。 如 果 选 择 某 作 者 的 建议 ,那么 他 提出 的 编 
程 建议 方面 的 选项 将 被 打开 ,作者 建议 的 配置 文件 名 为 AU-xxx. LNT, 按 照 如 图 7-7 Bros 
进行 选择 ,然后 单 击 “ 下 一 步 "按钮 。 

(8) 设置 包含 文件 目录 的 方式 。 这 里 有 两 种 选项 : 第 一 种 选项 是 使 用 -i 选项 协助 我 们 


Author Recommendations 


You may also enable checks specified by one or more 
authors who have made recommendations 


for using the 
appropriate author options file(s) into STD. LNT. 
names of the form AU-xxx. LNT. 
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of the folloring 
C/CH programming 
These are files having 


Take note, many of the checks advocated ere by default already enabled. By 
author's recommendations you may be opting for an analysis that is 


pickier then you otherwise would went, However, 
later be suppressed with command line options or op 


most of these checks cen 


tions placed in 


[V] Dan Saks 


回 Scott Meyers (Effective CH Ist 
Edition and 


SRA 2004. 


ct- V-EN 


[取消 ) [得 助 ] 


图 7-7 配置 作者 建议 


设置 ,-i 选 项 体现 在 STD. LNT 文件 中 ,每 个 目录 前 以 - 
名 中 有 长 文件 名 或 包含 空格 ,使 用 时 要 加 上 双 引 号 ， 
Visual Studio .NET 2003\Vec7Ninclude”。 第 二 种 是 跳 
种 ,如 图 7-8 所 示 , 单 击 “ 下 一 步 "按钮 出 现 图 7-9 页 面 ， 


i 引 导 , 目 录 间 以 空格 分 隔 , 如 果 目 录 
如 -I “C:\Program Files\Microsoft 
过 这 一 步 ,手动 设置 。 建 议 选 择 第 一 
这 里 我 们 要 输入 包含 文件 所 在 的 目 


录 。 在 文本 框 中 手动 输入 文件 包含 路 径 ,用 分 号 “; ?或 用 Ctrl 十 Enter 换行 来 分 割 多 个 包含 


路 径 。 也 可 以 通过 Browse 按钮 在 目录 树 中 直接 选择 。 


如 果 不 输入 包含 文件 目录 ,直接 选 


择 下 一 步 ,配置 完成 后 也 可 以 在 STD. LNT 文件 中 手工 添加 。 填 完 后 单 击 “ 下 一 步 ” 按 钮 。 


Header Files 


PC-lint cen find your compiler’ s header files 


GÉreste 7i optig 
Skip this step. 
Q vill do this 
manually.) 


by using one or 


《上 一 步 @)][ 下 一 步 中 让 [ 


取消 


图 7-8 设置 包含 文件 目录 的 方式 


(9) 出 现 提示 对 话 框 单 击 “ 确 定 ” 按 钮 后 ,会 出 现 图 7-10 对 话 框 ,这 里 询问 是 否 进行 男 一 个 编 
译 环境 的 配置 。 如 果 选 择 “ 是 ”, 将 会 从 图 7-4 所 示 页 面 开 始 进 行 新 的 配置 。 这 里 我 们 选择 “ 否 ”。 
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Include Directories 


Please include one or more compiler include 
directories. Separate multiple directories with a 
semicolon (;) or place them on separate lines using 
ctrl-Enter. Config wil produce the appropriate -i 


[C:\Program Files\Microsoft Visual Studio . NET 2003WcT include 
C:\Program FilesMlicrosoft Visual Studio . NET 2003WcTVatlnfclinclude 
[C:\Program FilesWlicrosoft Visual Studio .NET 2003WcT 


NPLatfornSDE Include 


Browse 


Lion) CO a )( €» ] 


T9 设置 包含 文件 目录 


P) me you want te set up another configuration? 


Cov J( vw 


7-10 是 否 进行 其 他 配置 


(10) 接 下 来 将 会 准备 产生 一 个 控制 全 局 编译 信息 显示 情况 的 选项 文件 OPTIONS. 
LNT。 这 里 选择 No 选项 , 它 的 含义 是 先生 成 一 个 空 的 OPTIONS. LNT 文件 ,以 后 的 实际 
应 用 过 程 中 再 加 入 必要 的 选项 ,如 图 7-11 所 示 ,然后 单 击 * 下 一 步 " 按 钮 。 


Questionnaire 


In the chapter "Living with Lint” we suggest a centrally located file 
(OPTIONS. LNT) that reflects your overall message suppression policy. 
few questions (about half a dozen) and creating a few options. Other 
options may be added as needed. If you elect to skip this step, an 
OPTIONS.LNT file will still be created for you so that you may later 


Do you want to step through the 


Otes 
Of 


<t- V-EN) m 


图 7-11 选项 文件 OPTIONS. LNT 
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OD 选择 支持 的 集成 开发 环境 。 这 里 我 们 选择 (env-vc7. In0 Microsoft's Visual C++. 
NET 选项 ,如 图 7-12 所 示 , 单 击 “ 下 一 步 ” 按 钮 。 


Environment Invocation 


Files of the form ENV-xxx. LNT contain both commentary end necessary options 
to enable you to set up PC-lint to run fron within your working 
“Help” and go to Section 3.5). 


Select 0 or more for use. 


OD (env-keil.1nt) 
[O envner. Int) 
[O (env-mw. 1nt) 
[C (eny- on. Int) 
[O (env-si. Int) 
[O env s1ed. lnt) 
[O len tide. 1n) 
[O (env-und. Int) 
D (env-ve4. Int) 


[L| (env-vc6. Int) 
M (envevct Int) 
Li ens xal. Int) 


Keil s WicroVision IDE 
American Cybernetics Multi-Edit 

Metrowerks CodeWarrior 

Object Master 

Source Dynamic’ s Source Insight 
MicroEdge Visual SlickEdit 
Turbo/Borland IDE under DOS 
Scientific Toolworks Understand 
Microsoft’ s Visual CH 4.x Dev. : 
Microsoft s Visual CH 5.x Dev. : 
Microsoft’ s Visual CH+ 6.x Dev. : 
licrosoft s Visual C++ -NET 
Output in XML format 


€ 


m ) 9€» ) 


ison [ 
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(12) 这 里 ,安装 程序 会 生成 一 个 LIN. BAT 文件 ,该 文件 是 运行 PC-Lint 的 批 处 理 文 
件 。 为 了 使 该 文件 能 在 任何 路 径 下 运行 ,安装 程序 提供 了 两 种 方法 。 第 一 种 方法 是 把 LIN. 
BAT 复制 到 任何 一 个 Path 目录 下 。 第 二 种 方法 是 生成 一 个 LSET. BAT 文件 ,在 每 次 使 用 
PC-Lint 前 先 运行 它 来 设置 路 径 , 或 者 把 LSET. BAT 文件 的 内 容 复制 到 AUTOEXEC. 
BAT 文件 中 。 图 7-13 中 有 三 个 选项 ,建议 选择 第 一 个 选项 Copy LIN. BAT to one of my 
Path directory, 即 使 用 第 一 种 方法 。 单 击 * 下 一 步 ? 按 钮 ,在 如 图 7-14 页 面 下 方 输入 框 中 输 
和 安装 目录 路 径 c:\pclint, 批 处 理 文件 LIN. BAT 将 被 复制 到 该 目录 下 。 


Batch Files 


LIN. BAT should be in your PATH so that it can be run from any directory. 
Note: Actual changes to your path will only occur by running the LSET. BAT 
second option below.) Additionally, since LSET. BAT should always be run 
before using PC-lint, you may prefer to copy the contents of LSET. BAT into 


Which of the following would you 


OPrepend my FC-lint directory to my 
PATH (create LSET. BAT) 
O 〇 sp thus 


取消 


Ez 5) ( 


713 配置 LIN. BAT Xf 
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x 


Your current path 


(C: METNDOWSA sys t en32: C: \WINDOYS; C: \WINDORS\Sy: 


Enter the directory in which to copy 


ci Npelint 


《上 一 步 @@)] 压 一步 如 让 取消 帮助 


图 7-14 LIN. BAT 安装 路 径 
(13) 至 此 ,出 现 图 7-15 页 面 , 单 击 “ 完 成 ”按钮 ,PC-Lint 配置 完毕 。 


Finish 


PC-lint for C/CH «6.0 has been 
configured on your machine, You 
say nov run LSET. BAT, if you 


created one, to set the environment 
variables. After which, you can 


To obtain updates to files 
mentioned in this wizard, visit our 
website at http://www. gimpel. com or 
contact us via electronic mail at 


Grol (m )( 99 | 


图 7-15 PC-Lint 配置 完毕 


7.2.3 集成 PC-Lint 到 .NET 编译 环境 


在 所 有 集成 开发 环境 中 ,PC-Lint 8.0 对 VC++ 6 和 VC++ 7.0 的 支持 是 最 完善 的 ,甚至 
支持 直接 从 VC 的 工程 文件 (VC 6 是 * . dsp, VC 7 是 * . vcproj) 导 出 对 应 工程 的 . LNT XC 
件 , 此 文件 包含 了 工程 设置 中 的 预 编译 宏 , 头 文件 包含 路 径 , 源 文 件 名 ,无 须 人 工 编写 工程 
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的 .LNT 文 件 。 

下 面 是 PC-Lint 集成 到 Microsoft Visual Studio . NET 2003 的 设置 说 明 , 详 细 描述 可 
参见 PC-Lint 自 带 文件 *PC-Lint 安装 目录 \lnt\env-vc7. lnt” 中 的 注释 。 

(1) 打开 Microsoft Visual Studio . NET 2003 环境 , 单 击 “工具 ”菜单 ,选择 “外 部 工 
具 ”, 打 开外 部 工具 对 话 框 , 单 击 “ 添 加 ”按钮 ,增加 “新 工具 ”。 接 着 输入 如 下 参数 ,如 图 7-16 
所 示 。 

* 标题 : PC-Lint(Simple Check) 。 

* 命令 : c:\pclint\lint-nt. exe; 

* 参数 : -i"c:\pclint" std. Int env-vc7. Int " $ (ItemFileName) $ (ItemExt)"。 

* 初始 目录 : $ (ItemDir) 。 

(2) 选中 “使 用 输出 窗口 ”, 单 击 “ 确 定 ” 按 钮 完成 设置 ,再 次 打开 “工具 ”菜单 将 会 看 到 新 
增加 的 菜单 项 PC-Lint, 如 图 7-17 所 示 。 


* mauro cea 
Sn GENERE 
^x SENSE 
菜单 内 容 四 : 添加 / 移 除 工具 箱 项 V 
risk [CR EERON ened 
ATL/NEFC T8 [594] Mo | 
Qc Ai 查看 器 V) zw » 
m ActiveX 控件 测试 容器 QD 
- Dotfuscater Community Edition 
错误 查找 四 
RO: IPC-lint Gimple Check) armc 跟踪 工具 D 
c c. welintMint-nt. exe mI 0LE/COW 对 象 查看 器 V 
SAR: ive \pelint” std. lnt env-vcT.lat "$ Ot »| Spy (D 
F 合用 输出 窗口 Q) M 提示 答 入 参数 E) F WIA. 
m TN na 
A0 
7-16 PC-Lint 集成 设置 7-17 新 增 的 PC-Lint 菜单 项 


PC-Lint 与 .NET 环境 集成 还 有 其 他 几 种 模式 , 例如 , Project Creation 模式 、Project 
Check 模式 、Unit Check 模式 等 ,它们 应 用 于 不 同 的 状态 ,设置 时 需要 指定 不 同 的 参数 ,具体 
参数 设置 情况 参见 文件 *PC-Lint 安装 目录 \lnt\env-vc7. Int". 

接 下 来 ,我 们 就 可 以 使 用 PC-Lint 在 . NET 环境 中 对 CN\C++ 代 码 进行 检查 分 析 。 在 
.NET 环境 打开 系统 自 带 的 C:\Program Files\Microsoft Visual Studio . NET 2003NVc7N 
include\assert. h, 单 击 工 具 菜 单 中 的 PC-Lint 菜单 项 ,结果 中 显示 两 项 错误 ,错误 类 型 为 
error 752 和 error 750 ,如 图 7-18 所 示 。 

为 了 让 大 家 能 够 理解 检查 结果 ,进而 修改 代码 ,下 面 列 出 PC-Lint 检测 中 的 常见 错误 以 
供 参 考 。 如 表 7-1 所 示 ,更 加 详细 的 信息 请 参考 PC-Lint 官方 手册 。 读 者 可 以 自行 寻找 合 
适 的 C 或 C++ 代码 进行 检查 ,并 检索 表 7-2 进行 错误 修正 。 
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fò icrosoft Developaent 


Environment [设计 ] — assert.h 


Xo sug NEV io IAV SO Wb 


D-5- Sug: 


soscilicrosoft. conpilers «/ 


fined CNSC_YER) Mh 1defined(_ edecl) ) 


titat NUES 


dsfine assert (exp) 


(osi) 


,const chars, nsigued) 


bill x 


i 


9 
E] 
# 
[2 


Flint for ET OT) Yers 


— Module: assert C) 


=> Wrapup fer Module: 


8 Ow, Copyright Ginpel Software 1985-2007 


asserta 


AGB): error TED. (afe 


一 Global Wrapup 


一 Successful completion 2 messages produced) 


macro "assert (line S6, file assert b) not referenced) 


图 7-18 PC-Lint 检查 代码 页 面 


表 7-2 PC-Lint 检测 中 的 常见 错误 


错误 编码 错误 说 明 % p 
字符 串 不 是 所 希望 的 token。 一 般 是 由 于 遇 到 |1. WORD33 wRelRab; 
10 了 未 知 的 token。 另 外 ,在 # define 语句 前 使 用 | 2. / * timer for debug * / # define TIME 
注释 也 会 在 PC-Lint 7.5 中 产生 这 种 错误 _DEBUG_ 
40 变量 未 声明 
char c—3; 
506 固定 的 Boolean 值 en 
525 缩 排 格式 错误 
if(a > B) 
return TRUE; 
527 无 法 执行 到 的 语句 else 
return FALSE; 
return FALSE; 
529 变量 未 引用 检查 变量 未 引用 的 原因 
530 使 用 未 初始 化 的 变量 
534 忽略 函数 返回 值 
539 缩 排 格式 错误 
char arr[100], * p; 
545 对 数组 变量 使 用 & situ 
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续 表 
错误 编码 错误 说 明 举 B 


void print str(const char * p); 


603 指针 未 初始 化 


char * sz; 


print str(sz) ; 


void write str(char * lpsz); 
605 指针 能 力 增强 


write str(*string") ; 


613 可 能 使 用 了 空 指针 

616 在 switch 语句 中 未 使 用 break; 
650 比较 数值 时 ,常量 的 范围 超过 了 变量 范围 if( ch == OxFF) ... 
713 把 有 符号 型 数值 赋 给 了 无 符号 型 数值 
715 变量 未 引用 


725 Indentation 错误 

int ay b, c; 
734 在 赋值 时 发 生变 量 越界 

c—a*b; 
"e 无 符号 型 变 /常量 和 有 变量 型 变 / 常 量 存在 

于 同一 个 表达 式 中 
744 在 switch 语句 中 没有 default 
752 本 地 声明 的 函数 未 被 使 用 
762 函数 重复 声明 
char c; 

774 Boolean 表达 式 始终 返回 真 / 假 ifle < 300) 


E: 利用 JUnit 进行 单元 测试 


目前 流行 的 动态 单元 测试 工具 是 XUnit 系列 框架 , 它 能 支持 不 同 的 语言 ,例如 ,JUnit 
(Java) ,CppUnit (C++) , Dunit Delphi) , NUnit(, NET) , PhpUnit (PHP) 等 。Xunit 框架 是 
Erich Gamma 和 Kent Beck 编写 的 一 系列 测试 规则 ,这 些 规则 约定 如 何 编写 和 运行 可 重复 
的 测试 。 

JUnit 是 XUnit 系列 框架 中 最 早出 现 的 , 正 是 由 于 JUnit 在 测试 Java 代码 时 的 优异 表 
现 , 才 使 Xunit 框架 得 以 推广 到 了 其 他 的 编程 语言 中 。 本 节 重 点 介绍 JUnit 测试 Java 代码 
的 语法 细节 和 相关 实例 ,下 一 节 介 绍 Nunit 的 具体 情况 。 由 于 JUnit 和 NUnit 在 请 法 结构 
上 有 很 多 相似 的 地 方 ,读者 可 以 根据 自己 的 实际 情况 选取 一 种 来 学 习 。 


7.3.1 JUnit 概要 


JUnit 是 一 个 开放 源 代码 的 Java 测试 框架 , 它 是 XUnit 测试 体系 架构 的 一 种 实现 。 
JUnit 主要 用 于 Java 代码 单元 测试 ,已 经 被 多 数 Java 程序 员 采 用 ,并 被 证 实 是 优秀 的 测试 
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框架 。Erich Gamma 和 Kent Beck 在 设计 JUnit 单元 测试 框架 时 , 设 定 了 三 个 总 体 目标 ,第 
一 个 是 简化 测试 的 编写 ,这 种 简化 包括 测试 框架 的 学 习 和 实际 测试 单元 的 编写 ; 第 二 个 是 
使 测试 单元 保持 持久 性 ; 第 三 个 则 是 可 以 利用 既 有 的 测试 来 编写 相关 的 测试 。 

JUnit 包括 以 下 四 个 特性 : 

(1) 使 用 断言 (Assertion) 方 法 判定 期 望 值 和 实际 值 ,返回 Boolean fE. 

(2) 测试 驱动 设备 使 用 共同 的 初始 化 变量 或 实例 。 

(3) 测试 套件 便于 组 织 和 运行 测试 。 

(4) 测试 界面 有 窗口 模式 和 文本 模型 。 

正 是 由 于 这 些 特 性 的 存在 ,使 得 利用 JUnit 创建 .运行 和 修改 单元 测试 变 得 简单 易 行 。 
JUnit 被 认为 最 适合 于 XP( 极 限 编程 ) 开 发 和 TDD( 测 试 驱动 开发 ) 开 发 中 。 


7.3.2 JUnit 框架 组 成 


JUnit 框架 经 历 了 多 次 版 本 升级 ,目前 市 场 上 主流 的 版 本 是 3. 8 和 4. x, 由 于 JUnit 是 
开源 框架 ,大 家 可 以 登录 www. junit. org 获取 JUnit 的 相关 版 本 。JUnit 是 以 jar 文件 的 形 
式 分 发 的 ,为 了 使 用 JUnit 来 为 你 的 应 用 程序 编写 测试 ,我 们 需要 把 JUnit 的 jar 文件 添加 
到 运行 的 CLASSPATH 中 去 。 

我 们 以 JUnit 3. 8. 1 为 例 来 分 析 JUnit 的 框架 组 成 。JUnit 3. 8. 1 整个 框架 的 核心 是 : 
TestCase, TestSuite, TestRunner, Assert, TestResult, Test 和 TestListener， 其 中 
TestListener 和 Test 是 接口 。 


1. 用 TestCase 创建 测试 


TestCase 是 测试 用 例 类 , 它 定义 了 可 以 用 于 运行 多 项 测试 的 环境 (或 固定 设备 )。 我 们 
编写 的 测试 类 都 必须 要 继承 于 TestCase, 它 以 test XXX 方法 的 形式 包含 一 个 或 多 个 测试 ， 
一 个 TestCase 把 具有 公共 行为 的 测试 归 和 一 组 。 

例如 我 们 要 编写 一 个 测试 类 TestClassA ,类 的 声明 如 下 s 

import junit. framwork. TestCase; 


public class TestClassA extends TestCase( 
public void testmethodA()( 


) 
public void testmethodB()( 


) 

} 

在 这 段 代码 中 ,TestClassA 是 测试 类 , 它 要 继承 TestCase 类 ,第 一 行 的 引用 用 来 指定 
TestCase 类 在 JUnit 框架 中 的 位 置 。testmethodA() 和 testmethodB() 是 测试 方法 ,一 个 测 
试 类 中 可 以 由 多 个 测试 方法 。 

典型 的 TestCase 包含 两 个 主要 部 件 : fixture( 可 翻译 为 “固定 装置 "或 “配件 ”, 这 里 我 
们 指 按照 固定 顺序 辅助 测试 方法 执行 的 系统 方法 ) 和 测试 单元 ,fixture 指 运 行 一 个 或 多 个 
测试 所 需 的 公用 资源 或 数据 集合 。 运 行 测试 所 需要 的 外 部 资源 环境 通常 称 做 testfixture。 
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TestCase 通过 setUp() 和 tearDown() 方 法 来 自动 创建 和 销毁 fixture. TestCase 会 在 每 个 
测试 运行 之 前 调用 setUp() ,并 且 在 每 个 测试 完成 之 后 调用 tearDown( ) 。 


2. 用 TestRunner 运行 测试 


TestRunner 是 运行 测试 程序 类 , 它 是 用 来 启动 测试 的 用 户 界面 ,BaseTestRunner 是 所 
有 TestRunner 的 超 类 。 如 果 需 要 编写 自己 的 TestRunner, 也 可 以 继承 这 个 类 。 

为 了 让 运行 测试 尽 可 能 地 快捷 ,JUnit 提供 了 三 种 TestRunner 运行 器 ,它们 分 别 是 : 
testui. TestRunner, 用 于 文本 控制 台 ; swingui. TestRunner 和 awtui. TestRunner 用 于 图 形 
控制 台 ,awtui. TestRunner 属于 遗产 代码 ,现在 很 少 有 人 使 用 。 

这 些 运 行 器 可 以 执行 测试 并 且 可 以 提供 结果 统计 信息 ,使 用 很 简便 ,图 7-19 显示 了 实 
际 运 行 中 的 swingui. TestRunner。 横 跨 屏 幕 的 进度 条 就 是 JUnit 著名 的 green bar. Keep 
the bar green to keep the code clean Æ JUnit 的 格言 。 


JUnit 


Test class name: 
liest.Calculator Test 


DD Reload classes every run 


[LT Ju 
Runs: 44 X Errors: 0 X Failures: 0 


Results: 


[c3 test CalculatorTest 
testAdd 
testMinus 
testMultiphy 
testDivide 
X Failures | j Test Hierarchy 


«| 


Finished: 0.079 seconds 


7-19  swingui. TestRunner 运行 结果 
如 果 测 试 失败 ,进度 条 就 会 呈 红 色 ,JUnit 测试 者 喜欢 把 通过 测试 称 为 green-bar , Jtt iil 
试 失 败 称 做 red-bar。 
3. 用 TestSuite 和 Test 组 合 测试 


TestSuite 是 测试 集合 类 ,一 组 测试 。 一 个 TestSuite 是 把 多 个 相关 测试 归 和 一 组 的 便 
捷 方 式 。 它 的 引用 位 置 是 : 
import junit. framework. TestSuite; 


一 且 创 建 了 一 些 测试 实例 TestCase, 下 一 步 就 是 要 让 它们 能 作为 一 个 集合 一 起 运行 ， 
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我 们 必须 定义 一 个 TestSuite 并 把 需要 一 起 运行 的 TestCase 添加 进去 。 我 们 使 用 一 个 静态 
的 suite() 方 法 来 完成 这 项 任务 , suite() 方 法 就 像 main() 方 法 一 样 ,JUnit 用 它 来 执行 
TestSuite 中 的 测试 。 在 suite() 方 法 中 ,你 将 测试 实例 加 到 一 个 TestSuite 对 象 中 ,并 返回 
这 个 TestSuite 对 象 。 一 个 TestSuite 对 象 可 以 运行 一 组 测试 。 

如 果 我 们 没有 为 编写 的 测试 类 TestCase 定义 一 个 TestSuite, 那 么 JUnit 就 会 自动 提 
供 一 个 默认 的 TestSuite, 它 会 扫描 你 的 测试 类 , 找 出 所 有 的 以 test 开头 的 测试 方法 并 且 在 
内 部 为 它们 创建 一 个 TestCase 实例 ,要 调用 的 方法 名 会 传递 给 TestCase 的 构造 函数 ,这 样 
每 个 实例 就 有 了 一 个 唯一 标识 。 

默认 TestSuite 还 不 能 完全 满足 我 们 的 需要 ,大 多 数 情况 下 我 们 需要 编写 自己 的 
TestSuite。 例 如 ,我 们 可 能 需要 组 合 多 个 suite() ,我 们 需要 运行 指定 的 某 些 测试 等 。 

这 是 我 们 一 般 会 写 一 个 TestAll 类 来 自 定义 suite() 方 法 。 以 下 代码 展示 了 一 个 典型 的 
TestAll 类 。 

代码 : TestAll 类 。 


import junit. framework. Test; 
import junit. framework. TestCase; 
import junit. framework. TestSuite; 


public class TestAll extends TestCase { //TestAll 继承 于 TestCase 
public static Test suite(){ //suite() 方 法 


TestSuite suite = new TestSuite(); 

suite. addTestSuite(CalculatorTest. class); // 增 加 指定 的 测试 
suite. addTestSuite(LargestTest. class); 

return suite; 


} 


通常 情况 下 ,TestAll 类 包括 一 个 静态 suite ) 方 法 ,以 便 调用 所 以 其 他 test 或 suite, 
可 以 通过 调用 add TestSuite ) 方 法 来 增加 想 要 一 起 运行 的 TestCase 对 象 或 TestSuite 对 
象 ,因为 addTestSuite 方法 接受 的 参数 是 Test 类 型 的 对 象 ,而 TestCase 和 TestSuite 都 实 
现 了 Test 接口 。 

TestSuite 提供 了 一 种 Composite 模式 , 即 把 对 象 组 合 (Composite) 成 树 状 结构 来 表示 
部 分 -整体 层次 关系 。Composite 模式 可 以 让 客户 一 致 地 对 待 单个 对 象 和 对 象 的 组 合 。 
JUnit 用 Test 接口 来 运行 一 个 单独 的 测试 ,或 者 是 多 个 测试 的 集合 ,这 就 是 Composite 模式 
的 体现 。 给 TestSuite 增加 一 个 对 象 时 ,实际 上 增加 的 是 Test, 而 不 只 是 一 个 TestCase。 因 
为 TestSuite 和 TestCase 都 实现 了 Test 接口 ,所 以 既 可 以 向 TestSuite 加 入 另 一 个 
TestSuite, 也 可 以 加 入 一 个 TestCase。 如 果 是 TestCase, 那 么 就 会 运行 这 个 单独 的 测试 ; 
如 果 是 TestSuite, 就 会 运行 一 组 测试 。 


4. 用 TestResult 收集 测试 参数 


TestResult 是 测试 结果 类 ,所 有 的 TestSuite 都 有 一 个 对 应 的 TestResult。TestResult 
负责 收集 TestCase 的 执行 结果 ,并 存储 所 有 的 测试 细节 。 
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如 果 测 试 失败 ,JUnit 会 创建 一 个 TestFailure 对 象 , 它 会 存储 在 TestResult 当中 。 

TestRunner 使 用 TestResult 来 报告 测试 结果 , 如 果 TestResult 集合 中 没有 
TestFailure 对 象 ,那么 代码 就 是 干净 的 ,进度 条 就 用 绿色 显示 ; 否则 TestRunner 就 报告 失 
败 , 并 输出 失败 测试 的 数目 和 它们 的 stacktrace。 

JUnit 测试 中 ,失败 (Failure) 和 错误 (Error) 是 不 一 样 的 。 失 败 (Failure) 是 可 预期 的 ， 
表示 测试 失败 ,可 能 发 现 了 缺陷 ,修正 代码 就 可 以 使 测试 正常 通过 。 错 误 (Error) 是 测试 时 
不 可 预料 的 ,由 意外 问题 引发 的 错误 , 它 可 能 意味 着 支撑 环境 中 的 失败 ,而 不 是 测试 本 身 的 
失败 。 

几乎 所 有 的 JUnit 类 在 内 部 都 会 用 到 TestResult, 我 们 在 编写 测试 代码 时 不 用 直接 和 
TestResult 打交道 。 


5. 用 TestListener 观察 测试 结果 


TestListener 接口 帮助 对 象 获取 TestResult 并 创建 有 用 的 测试 报告 。TestResult 收集 
了 关于 测试 的 信息 ,TestRunner 通过 实现 TestListener 接口 来 报告 这 些 信息 。 

虽然 TestListener 接口 是 JUnit 框架 的 重要 部 分 ,但 是 我 们 在 编写 测试 代码 时 不 必 实 
现 这 个 接口 。 


6. Assert 


Assert 是 断言 类 , 它 实现 了 动态 测试 最 重要 的 内 容 : 预期 值 和 实际 结果 的 比较 。 如 
表 7-3 所 示 ,Assert 类 有 8 个 核心 方法 ,我 们 用 这 些 方法 来 进行 测试 结果 的 判断 ,详细 信息 
请 查看 JUnit 文档 。 以 assertEquals() 方 法 为 例 , 它 能 对 各 种 数据 进行 比较 ,一 般 的 形式 为 ， 
assertEquals(message,expected,actual), 如果 expected( 期 望 值 ) 与 actual( 测 试 执行 结果 ) 
相同 ,断言 成 立 ,测试 成 功 ; 否则 , 抛 出 带 有 message 的 AssertionFailedError 异常 。 
表 7-3 Assert 类 的 8 个 核心 方法 


方 ”法 描 g 
assertTrue 断言 条 件 为 真 。 若 不 满足 ,方法 抛 出 带 有 相应 信息 的 AssertionFailedError 异常 
assertFalse 断言 条 件 为 假 。 若 不 满足 ,方法 抛 出 带 有 相应 信息 的 AssertionFailedError 异常 


assertEquals 断言 两 个 对 象 相等 。 若 不 满足 ,方法 抛 出 带 有 相应 信息 的 AssertionFailedError 异常 
assertNotNull 断言 对 象 不 为 null。 若 不 满足 ,方法 抛 出 带 有 相应 信息 的 AssertionFailedError 异常 
assertNull 断言 对 象 为 null。 若 不 满足 ,方法 抛 出 带 有 相应 信息 的 AssertionFailedError 异常 
断言 两 个 引用 指向 同一 个 对 象 。 若 不 满足 ,方法 抛 出 带 有 相应 信息 的 


aisi AssertionFailedError 异常 

断言 两 个 引用 指向 不 同 的 对 象 。 若 不 满足 ,方法 抛 出 带 有 相应 信息 的 
assertNotSame 

AssertionFailedError 异常 
fail 强制 测试 失败 


这 里 我 们 介绍 了 JUnit 框架 的 组 成 ,核心 类 之 间 的 关系 可 以 简单 总 结 成 如 下 几 句 话 : 
* 我 们 重点 关注 测试 类 TestCase, 因 为 它 是 测试 运行 的 主体 对 象 , 测试 类 都 要 继承 
TestCase。 


。 测试 结果 的 判定 由 断言 类 Assert 来 实现 ,我 们 依据 断言 语句 的 执行 结果 来 判断 是 
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否 存 在 软件 缺陷 。 
。 TestSuite 和 Test 以 Composite 模式 ( 树 形 结构 ) 来 组 织 测 试 类 TestCase。 
。 TestRunner 负责 运行 TestSuite, 它 提供 3 种 运行 模式 。 
。 TestResult 负责 收集 测试 相关 信息 。 
。 TestListener 帮助 对 象 获取 TestResult 并 创建 有 用 的 测试 报告 。 
图 7-20 是 JUnit 框架 核心 类 的 类 图 ,表明 了 JUnit 7 个 核心 类 之 间 的 关系 。 


Assert 
| TestCase TestResult | 
Es 
<<Interface>>[™ ^ 1 0.* <<Interface>> 
Test Ou i TestListener 
| - T TestSuite TestRunner 上 -一 | 
0.1 


图 7-20 JUnit 框架 的 核心 类 类 图 


7.3.3 JUnit 的 安装 和 运行 


JUnit 框架 是 开发 源 代码 的 工具 ,大 家 可 以 到 官方 网 站 www. junit. org 下 载 相关 版 本 。 
JUnit 是 以 jar 文件 (junit. jar) 的 形式 分 发 的 。 

JUnit 的 安装 步骤 很 简单 。 

第 一 步 ,我 们 可 以 从 www. junit. org 下 载 到 junit3. 8. 1. zip, 将 其 解压 缩 至 指定 磁盘 目 
录 即 可 。 这 里 我 们 直接 解压 缩 至 C 盘 根 目 录 下 ,得 到 junit3. 8. 1 文件 夹 。 

第 二 步 , 为 了 使 用 JUnit 为 应 用 程序 编写 测试 ,我们 需要 把 junit. jar 文件 添加 到 环境 变 
量 CLASSPATH 中 。 

右 击 “ 我 的 电脑 ,选择 * 属 性 ”高 级 ”~ 环境 变量 ”, 在 “Administrator 的 用 户 变量 ” 
框 中 选中 变量 CLASSPATH , 单 击 “编辑 ”按钮 ,将 junit. jar 的 路 径 C: Vjunit3, 8. 1\junit, 
jar; 添 加 进去 , 单 击 “ 确 定 ” 按 钮 ,完成 配置 ,如 图 7-21 所 示 。 

至 此 ,安装 完成 , 接 下 来 我 们 可 以 用 JUnit 中 自 带 的 示例 程序 Money Test 观察 测试 
效果 。 

第 三 步 ,“ 开 始 ”>“ 运 行 ”, 输 入 命令 cmd 打开 字符 命令 行 界面 。 输 入 命令 : 

cd c:\junit3.8.1 
进入 JUnit 目录 。 接 着 ,输入 如 下 命令 : 

java - cp junit. jar; junit. swingui. TestRunner 


打开 JUnit 的 图 形 界面 运行 器 ,我 们 应 该 还 记得 上 面 讲 的 JUnit 提供 了 3 种 运行 方式 ,命令 
中 的 junit. swingui. TestRunner 就 是 TestRunner 的 图 形 控制 台 。 

第 四 步 ,在 JUnit 图 形 界面 中 取消 Reload classes everyrun 的 选择 ,在 Test class name: 
编辑 框 中 输入 示例 程序 位 置 : junit. samples. money. MoneyTest, 然 后 单 击 右 侧 的 Run 按 
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钮 ,出 现 green bar 绿色 状态 条 ,如 图 7-22 所 示 , 说 明代 码 测 试 通过 。 
I E J JUnit 


常规 “| 计算 机 名 | 硬件 | 高 级 。 | 自动 更 新 | 远程 ni 


[?] 
(2 [x] Test class name: 


junitsamples.money.MoneyTest| 
Adninistrator HAPEE V 


Reload classes every run 


变量 值 5 
CLASSPATH C:\junit3.8. 1\ junit. jar ;C: \PROG. È 
INCLUDE C: Program Files\Microsoft Visu 


C:\Program Files\i 


Runs: 22/22 X Errors: 0 X Failures: 0 


Results: 


| amits 8 Dunit jar : \ PROGRA 1" 


[Le J( mh 
rew (san J[ Bo ] 


X Failures | $ Test Hierarchy 


* 


| [ wx 取消 


Finished: 0.297 seconds 


图 7-21 配置 CLASSPATH 图 7-22 图 形 界面 (swingui) 运 行 JUnit 附带 测试 例子 


JUnit 框架 还 有 一 些 自 带 的 示例 程序 ,读者 可 自 
第 五 步 , 接 下 来 我 们 再 尝试 使 用 JUnit 的 文本 六 
界面 进入 JUnit H3* CC: Vunit3. 8. 1) 后 ,输入 命令 


lix. 


了 器 textui 运行 该 示例 。 使 用 命令 行 


java- cp junit. jar; junit. swingui. TestRunner junit. samples. money. MoneyTest 


测试 结果 如 图 7-23 所 示 。 


ft Windows XP [RÆ 
有 1985-2001 Micr 


zNDocunents and Settings \Adninistrator’cd c:*junit3.8.1 


Njunit3.8.1?java -cp junit.jar; junit.textui.TestRunner junit.sanples.money.Mo| 


OK 422 tests? 


2Njunit3.8.15, 


图 7-23 文本 界面 (textui) 运 行 JUnit 附带 测试 例子 


请 注意 ,在 文本 界面 中 ,通过 的 测试 用 点 来 表示 ,本 例 中 有 22 个 测试 ,所 以 图 7-22 中 有 
22 个 点 , 若 某 个 测试 有 错误 就 用 大 写字 母 下 表示 ,失败 用 大 写字 母 F 表示 。 

第 六 步 ,我 们 再 看 一 下 测试 有 错误 的 情况 。 这 次 还 是 使 用 上 面 的 图 形 界面 (swingui) 和 
文本 界面 (textui) 两 种 测试 运行 器 。 我 们 对 另外 一 个 示例 程序 进行 测试 ,这 里 示例 程序 叫 
做 SimpleTest, 位 于 C:\junit3. 8. 1\junit\samples\ 目 录 内 。 测 试 步 又 与 第 四 步 和 第 五 步 类 
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似 , 不 同 之 处 就 是 把 测试 对 象 换 成 了 


mpleTest, 测 试 结果 如 图 7-24 和 图 7 


所 示 。 


从 图 中 我 们 可 以 看 到 ,SimpleTest 中 的 3 个 测试 都 出 现 了 问题 ,其 中 有 1 个 错误 ,2 个 
失败 (关于 错误 和 失败 的 区 别 请 参考 7. 3. 2 内容)。 图 7-24 中 状态 条 显示 红色 ,图 7-2 


试 状态 显示 . F. E.F, 两 个 运行 器 都 对 问题 的 原因 进行 了 


JUnit 


Test class name: 


细 的 解释 。 


junit.samples.SimpleTest| 


Reload classes every run 


[E EÉEQEARSRUEIBSEáEcLLLGHLULROERILEA!ULILOULICASEASA eRoeLLUI! 
Runs: 33 


Results: 


X Errors: 1 X Failures: 2 


* testAdd(unit samples.SimpleTest) 
X testDivideByZero(junit.samples.SimpleTest)/ by zi 


X testEquals(junit.sar 


E] 


X Failures 


^ples.SimpleTest, xpected:«12» but wal 


Š Test Hierarchy 


junit fr 


at 
at 


at 
1 


junitsamples.Sin 
un.reflect Nati 
un.reflect Native 


;serlionFaile 


stAdd(SimpleTest java:45) 
iccessorimpl.invokeO(Native Meth 


ccessorimpl.invoke(Unknov 


Finished: 0.063 seconds 


图 7-24 


1 error: 


图 形 界面 (swingui) 测 试 SimpleTest 


> testDivideByZeroCjunit.sanples.SinpleTest)java.lang.firithmeticException: / by| 


zero 
at 
at 
at 
at 
here were 


junit.sanples.SinpleTest.testDivideByZero(SinpleTest.java:49) 
sun.ref lect .NativeMethodüccessorInpl.invokeB(Native Method) 
sun.ref lect .NativeMethodfüccessorInpl.invoke(Unknoun Source) 

ref lect. DelegatingMethodüccessorInpl.invoke(Unknoun Source? 
2 failure 


sun 


> testAddCjunit.sanples.SimpleTest)junit.franework.fAssertionFailedError 


at 
at 
at 
at 


at 
at 
at 
at 


S 


junit .sanple 


SinpleTest.testfidd(SinpleTest.java:45) 


sun.ref lect .NativeMethodüccessorInpl.invokeB(Native Method) 

ref lect .NativeMethodüccessorInpl.invokeC(Unknoun Source) 

ref lect. DelegatingMethodüccessorInpl.invoke(Unknoun Source? 

[2> testEqualsCjunit.sanples.SimpleTest)junit.framework.fssertionFailedError: Siz| 
expected:412? but was:<13> 


sun 
sun 


junit-sample: 


sun 


sun. 


SinpleTest.testEquals(SinpleTest.java:56) 


ref lect .NativellethodüccessorInpl.invoke8C(Native Method) 
sun.reflect.NativeMethodfüccessorInpl.invokeCUnknoun Source? 
ref lect .DelegatingMethodfüccessorInpl.invoke(Unknoun Source? 


Failures: 2, 


Errors: 1 


图 形 界面 (swingui) 测 试 SimpleTest 


5 


中 测 
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经 过 上 述 步 骤 的 测试 ,我 们 可 以 看 到 两 种 TestRunner 报告 了 同样 的 结果 ,文本 界面 
(textui) 更 容易 执行 ,特别 适合 于 执行 批 处 理 任务 ; 而 图 形 界面 (swingui) 的 TestRunner 可 
以 提供 更 多 的 细节 。 


7.3.4 JUnit 实例 


了 解 了 JUnit 的 工作 原理 之 后 ,下 面 我 们 用 一 个 小 例子 来 学 习 JUnit 3. 8. 1 的 基本 

【实例 7-1】 假设 有 一 个 Calculator 类 , 它 能 实现 两 个 整数 之 间 的 四 则 运算 。Calculator 
类 中 有 4 个 方法 : 加 法 : add(int aint b) ,减法 : minusCint asint b) 乘法: multiphy(int a,int b) 
和 除法 : divideCint asint b)。 

Calculator 类 的 代码 文件 Calculator. java 内 容 如 下 。 

代码 : Calculator Æ (Calculator. java) 

package test; 

public class Calculator { 

public int add(int a, int b)( 


returna * b; 


j 

public int minus(int a, int b) { 
returna - b; 

} 
public int multiphy( int a, int b) { 
returna * b; 

} 

public int divide(int av int b) { 
return a / b; 

i 

) 


1. 常规 的 测试 


怎样 来 证 明 Calculator 类 能 够 正常 实现 运算 ? 基本 的 思路 是 设计 适当 的 测试 用 例 , 然 
后 把 Calculator 类 实例 化 ,接着 就 以 设计 好 的 测试 用 例 为 参数 调用 具体 方法 ,最 后 检验 返回 
结果 与 预期 值 是 否 一 致 ,如 果 一 致 就 说 明代 码 正 确 。 

按照 上 述 的 思路 ,我 们 不 使 用 JUnit 框架 也 可 以 进行 Calculator 类 的 测试 。 我 们 在 
Calculator 类 中 创建 main 函数 测试 add() 方 法 的 代码 如 下 : 


public class Calculator { 


public static void main(String[] args){ 


Calculator cal - new Calculator(); // 类 实例 化 
int result = cal.add(1, 2); // 运 行 被 测 方法 add 并 取得 执行 结果 
if(3 == result){ // 预 期 值 与 调用 结果 的 比较 


System. out. println(result); 
} 


else( 
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System. out. println("failure!"); 


l 


这 个 测试 非常 简单 ,我 们 使 用 的 测试 用 例 是 (1,2) ,首先 ,创建 Calculator 类 的 实例 ,把 
测试 用 例 传递 给 它 ,然后 用 过 语 句 来 比较 预期 值 3 与 实际 执行 结果 result 是 否 相等 ,如 果 相 
等 就 在 控制 台 输 出 result 的 值 ; 否则 ,输出 字符 串 failure!。 

add() 方 法 的 功能 非常 简单 ,我 们 通过 编译 运行 ,肯定 能 得 到 正确 结果 。 但 是 ,如 果 我 们 
改变 add() 方 法 中 的 代码 ,使 测试 失败 ,你 就 必须 仔细 地 寻找 错误 消息 以 确定 错误 原因 。 另 
外 ,我 们 还 要 考虑 到 这 里 的 代码 只 是 测试 了 add() 方 法 ,如 果 把 测试 Calculator 类 的 代码 写 
完整 的 话 ,运行 main() 方 法 势必 会 进行 连续 测试 ,容易 造成 混乱 ,一旦 出 现 错误 也 不 容易 查 
找 。 当 然 ,我 们 完全 可 以 利用 自己 编码 的 技巧 来 解决 这 些 问 题 , 我 们 可 以 编写 出 足够 智能 的 
程序 来 解决 上 述 测试 混乱 的 问题 。 比 如 ,构建 新 的 测试 类 ,使 测试 结构 清晰 ; 创建 能 动态 显 
示 测 试 结果 的 窗口 ,使 测试 工作 可 以 控制 ; 等 等 。 做 完 这 些 工作 后 ,我 们 会 发 现 我 们 所 有 测 
试 的 程序 仅仅 是 最 简单 的 Calculator 四 则 运算 类 ,测试 的 效率 是 大 家 都 不 能 接受 的 。 显 然 ， 
这 样 的 测试 不 是 我 们 想 要 的 。 


2. 使 用 JUnit 框架 来 测试 Calculator 类 


所 有 的 单元 测试 框架 都 应 当 遵守 3 条 规则 : 

。 每 个 单元 测试 的 运行 都 必须 独立 于 其 他 单元 测试 。 

。 必须 以 单项 测试 为 单位 来 检测 和 报告 错误 。 

* 必须 易于 定义 要 运行 的 单元 测试 。 

毫 无 疑问 ,JUnit 也 能 很 好 地 遵守 这 3 条 规则 。 同 时 ,JUnit 还 有 很 多 功能 可 以 简化 测 
试 的 编写 和 运行 : 

。 可 供 选 择 的 TestRunner 能 以 多 种 方式 (命令 行 .awt 和 swing) 显 示 测 试 结果 。 

* 每 个 单元 测试 独立 运行 。 
标准 的 资源 初始 化 和 回收 方法 (setUpC7 和 tearDown() ) 。 
各 种 不 同 的 Assert 方法 ,让 测试 结果 比较 更 加 容易 。 

。 同 流行 工具 (Ant、Maven 等 ) 和 流行 IDECEclipse,Jbuilder 等 ) 整 合 。 

下 面 ,我们 先 给 出 用 JUnit 对 Calculator 类 的 add() 方 法 进行 测试 的 代码 。 为 了 实现 测 
试 代码 与 源 代码 的 分 离 ,我 们 创建 测试 类 CalculatorTest, 具 体 代码 如 下 所 示 。 

代码 : testAdd() 代 码 


1. import junit. framework. TestCase; 
2. import junit. framework. Assert; 
3. public class CalculatorTest extends TestCase( 


4. public void testAdd(){ 

int expected = 3; //388 (8 

6. inta = 1,b = 2; // 测 试用 例 | 测试 准备 

p^ Calculator cal = new Calculator(); 

8. intactual = cal.add(a, b); // 第 二 步 : 调用 被 测 方法 ,运行 测试 
9. Assert.assertEquals(expected, actual); // 第 三 步 : 检验 测试 结果 ,给 出 结论 
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第 3 行 声 明 CalculatorTest 类 继承 于 测试 基 类 TestCase, 所 有 的 测试 类 都 继承 于 
TestCase。 第 4 行 定 义 了 测试 方法 testAdd O ,按照 JUnit 语法 的 规定 ,测试 方法 的 命名 必 
须 遵守 testXXX() 这 样 的 模式 ( 即 测试 方法 命名 必须 以 test 开头 ), 并 且 还 要 求 测试 方法 是 
公共 方法 (public) ,无 返回 值 (void) ,无 参数 。 也 就 是 说 ,定义 测试 方法 时 要 写成 这 样 的 
模式 : 


public void testXxx(){.…} 


第 5 行 定义 了 测试 期 望 值 expected, 第 6 行 定 义 了 测试 用 例 。 第 7 行 创建 了 Calculator 
类 的 实例 (被 测试 的 对 象 ) ,开始 测试 工作 。 第 8 行 调用 被 测试 方法 add() 并 传递 测试 用 例 
(1,2) 来 执行 测试 。 第 9 行 开始 检验 测试 结果 RIE assertEquals ) 方 法 来 比较 期 望 值 
和 实际 调用 结果 。 

这 里 的 assertEquals() 方 法 只 使 用 了 两 个 参数 的 形式 : 


assertEquals(expected, actual); 
完整 的 assertEquals() 方 法 的 形式 是 : 
assertEquals(expected, actual, delta) ; 


在 大 多 数 情况 下 ,参数 delta 可 以 为 0, 甚 至 不 写 出 来 ,我们 可 以 安全 地 忽略 它 。 但 是 当 
执行 不 一 定 会 精确 的 计算 时 (大 多 是 浮 点 运算 ), delta 提供 一 个 误差 范围 。 只 要 实际 值 
(actual) 在 范围 (expected-delta, expected-delta) 之 内 ,测试 就 算是 通过 了 。 

上 述 测试 方法 testAddO 〇 体现 了 测试 过 程 标准 的 “三 步 走 ” 过 程 : 

1) 测试 准备 。 

2) 运行 测试 。 

3) 判断 结果 。 

一 般 我 们 的 测试 方法 都 会 按照 这 个 模式 来 编码 。 和 testAdd() 类 似 , testMinus O, 
testMultiphy() 和 testDivide() 也 是 “三 步 走 ”的 过 程 。 具 体 代码 如 下 : 

代码 : CalculatorTest 类 代码 


package test; 
import junit. framework. TestCase; 
import junit. framework. Assert; 
public class CalculatorTest extends TestCase 
{ 
//Junit 3.8 中 ,测试 类 必须 从 TestCase 继承 
/* 
* 测试 方法 的 命名 规则 : 
* 1、public; 2,void; 3,352 9; 4、 名 字 必 须 以 test 开头 
*/ 
public void testAdd()( 
Calculator cal = new Calculator(); 
int result = cal.add(1, 2); 
Assert.assertEquals(3, result); 
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} 

public void testMinus()( 
Calculator cal = new Calculator(); 
int result = cal.minus(1, 2); 
Assert.assertEquals( - 1, result); 

} 

public void testMultiphy()( 
Calculator cal = new Calculator(); 
int result - cal.multiphy(1,2); 
Assert.assertEquals(2, result); 

) 

public void testDivide()( 
Calculator cal 7 new Calculator(); 
int result = cal.divide(1,2); 
Assert.assertEquals(0, result); 


} 
现在 ,我 们 来 运行 测试 类 CaleulatorTest 。 假 定 我 们 把 Calculator. java 和 Calculator Test 


. java 文件 放 入 C:\junit3. 8. 1\test 目录 下 (需要 新 建 目录 test) ,那么 首先 需要 编译 类 代码 ， 
生成 class 文件 。 打 开 命令 行 模式 ,进入 C:N\junit3.8. 1 目录 ,输入 编译 命令 如 下 ， 


javac - cp junit. jar test V * . java 
生成 Calculator. class 和 CalculatorTest. class; 
接 下 来 使 用 TestRunner 运行 测试 ,命令 如 下 : 
java - cp junit. jar; junit. swingui. TestRunner test.CalculatorTest 
测试 结果 如 图 7-26 所 示 ,注意 ,测试 时 要 取消 Reload classes every run 选项 。 


JUnit 
JUnit 


Test class name: 
ltest.calculatorTest 


[DReload classes every run 


X Errors: 0 


[ES test CalculatorTest 
testhdd 

vf teslMinus 
testMultiphy 
tesiDivide 


X Failures | $ Test Hierarchy 


Finished: 0.079 seconds 


图 7-26 Calculator 类 测试 结果 
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3. setUp() 和 tearDown() 


前 面 提 到 TestCase 包含 两 个 主要 部 件 : fixture 和 测试 单元 。fixture 是 指 在 执行 一 个 
或 者 多 个 测试 方法 时 需要 的 一 系列 公共 资源 或 者 数据 ,例如 测试 环境 ,测试 数据 等 。 在 编写 
单元 测试 的 过 程 中 ,你 会 发 现 大 部 分 的 测试 方法 在 进行 真正 的 测试 之 前 都 需要 做 一 定 的 铺 
执 , 也 就 是 “三 步 走 ”中 的 第 一 步 “测试 准备 ”。“ 测 试 准备 ”过 程 所 占据 的 代码 会 随 着 测试 的 
复杂 程度 的 增加 而 递增 , 当 多 个 测试 方法 都 需要 做 同样 的 “准备 ?时 ,我 们 可 以 用 JUnit 专门 
提供 的 fixture 来 消除 这 些 重 复 代 码 。 

JUnit 把 setUp() 和 tearDown() 方 法 定义 在 TestCase 类 中 ,TestCase 通过 setUp() 和 
tearDown() 方 法 来 自动 创建 和 销毁 fixture。 

setUp() 方 法 初始 化 所 有 测试 的 Fixture( 你 甚至 可 以 在 setUp() 中 建立 网 络 连 接 ) ,将 
每 个 测试 略 有 不 同 的 地 方 在 testXXX() 测 试 方法 中 进行 配置 。 

tearDown() 方 法 释放 在 setUp() 中 分 配 的 永久 性 资源 ,如 数据 库 连 接 。 

当 测试 执行 时 , TestCase 会 在 每 个 测试 运行 之 前 调用 setUp() ,并 且 在 每 个 测试 完成 之 
后 调用 tearDownO 。 

这 是 我 们 还 需要 注意 ,将 配置 Fixture 的 代码 放 入 测试 类 的 构造 方法 中 是 不 可 取 的 。 
因为 我 们 要 求 执行 多 个 测试 ,并 不 希望 某 个 测试 的 结果 意外 地 影响 其 他 测试 的 结果 。 通 常 
若干 个 测试 会 使 用 相同 的 Fixture, 而 每 个 测试 又 各 有 自己 需要 改变 的 地 方 。 

在 测试 类 CalculatorTest 中 我 们 可 以 看 到 ,每 个 测试 方法 在 执行 之 前 都 要 执行 实例 化 
Calculator 类 的 代码 。 我 们 可 以 考虑 把 这 行 代码 放 在 setUp() 方 法 中 实现 。 具 体 代码 片段 
AF. 

代码 : 增加 setUp() 方 法 以 后 的 CaleulatorTest 类 代码 片段 。 


public class CalculatorTest extends TestCase( 

private Calculator cal; 

public void setUp()( 
cal = new Calculator(); 

) 

public void testAdd()( 
int result = cal.add(1, 2); 
Assert.assertEquals(3, result); 


} 


我 们 先 给 CalculatorTest 定义 一 个 Calculator 类 型 的 私有 变量 cal, 然 后 在 setUp() 方 
法 中 给 cal 分 配 资源 ,进行 实例 化 。 这 样 ,测试 方法 中 就 没有 了 重复 语句 ,更 加 简洁 、 高 效 。 

去 除 重复 代码 有 助 于 更 快 地 编写 更 多 的 测试 ,需要 注意 的 是 不 要 试图 通过 在 一 个 测试 
方法 中 测试 多 个 操作 来 共享 初始 化 代码 ,不 要 把 多 个 测试 塞 进 一 个 方法 。 这 样 导 致 的 结果 
就 是 测试 方法 变 得 更 复杂 , 难 读 也 难 懂 。 更 糟 的 是 ,测试 方法 中 的 代码 逻辑 越 多 ,测试 失败 
的 可 能 性 就 越 大 。 并 且 很 难 定位 究竟 是 什么 地 方 出 错 了 。 当 测试 共享 一 个 方法 ,一 个 失败 
的 测试 就 可 能 会 让 fixture 处 于 无 法 预期 的 状态 ,这 样 位 于 这 个 方法 中 的 其 他 测试 可 能 也 无 
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法 运行 


。 这 样 的 话 ,我 们 获得 的 测试 结果 就 是 不 完整 的 ,甚至 可 能 是 误导 性 的 。 


所 以 ,为 了 获得 最 好 的 测试 结果 ,一 个 测试 应 该 对 应 一 个 方法 ,初始 化 代码 放 在 setUp() 
中 实现 。 

为 了 能 更 好 地 看 到 setUp() 和 tearDown() 方 法 在 整个 测试 中 的 执行 效果 ,我 们 把 
CalculatorTest 类 代码 做 一 些 改动 。 在 每 个 方法 (包括 测试 方法 和 fixture 方法 ) 中 都 加 入 一 
个 输出 语句 ,通过 观察 测试 执行 时 运行 器 中 的 输出 类 确定 各 个 方法 的 执行 顺序 。 

我 们 在 每 个 方法 中 都 加 入 输出 各 自 的 方法 名 称 的 语句 : 


在 setUp() 方 法 中 加 入 语句 : 

System. out. println("SETUP"); 

在 tearDown() 方 法 中 加 入 语句 ， 

System, out. println("TEARDOWN") ; 

在 4 个 测试 方法 testAddO , testMinus O , testMultiphy O fll testDivide() 总 分 别 加 
人 语句 ， 


System. out. println("testAdd"); 
Systen. out. println("testMinus"); 
System. out. println("testMultiphy"); 
Systen. out. println("testDivide"); 


代码 : 增加 了 输出 语句 的 CalculatorTest 类 代码 


package test; 

import junit. framework. TestCase; 

import junit. framework. Assert; 

public class CalculatorTest extends TestCase 


t 


private Calculator cal; 
public void setUp()( 
cal = new Calculator(); 
System. out. println("SETUP"); 
) 
public void tearDown()( 
System. out. println("TEARDOWN") ; 
) 
public void testAdd()( 
System. out. println("testAdd"); 
int result = cal.add(1, 2); 
Assert.assertEquals(3, result); 
) 
public void testMinus()( 
System. out. println("testMinus"); 
int result = cal.minus(1, 2); 
Assert.assertEquals( - 1, result); 
) 
public void testMultiphy()( 
System. out. println("testMultiphy"); 
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int result = cal.multiphy(1,2); 
Assert.assertEquals(2, result); 

} 

public void testDivide()( 
System. out. println("testDivide"); 
int result = cal.divide(1,2); 
Assert.assertEquals(0, result); 


) 

编译 运行 测试 类 ,测试 通过 并 在 屏幕 上 显示 了 输出 语句 ,如 图 7-27 所 示 。 图 中 我 们 可 
以 看 到 SEPUP 和 TEARDOWN 都 输出 4 次 ,并 且 分 别 位 于 测试 方法 的 前 后 。 由 此 ,充分 
说 明了 setUp() 方 法 在 每 个 测试 方法 运行 前 运行 一 次 ,tearDown() 方 法 在 每 个 测试 方法 运 


: junit.swingui.TestR... MEJE 


[testada 
[TEARDOUN 


图 7-27 setUp() 方 法 和 tearDown() 方 法 的 执行 顺序 


4. 异常 处 理 


到 目前 为 止 ,我 们 的 测试 都 沿 着 正常 的 线索 进行 。 如 果 被 测试 对 象 的 行为 不 正常 ,或 者 
测试 方法 编写 有 问题 (测试 方法 也 是 程序 ,也 有 出 错 的 可 能 ),red bar 马上 就 会 出 现 。 本 质 
上 讲 ,我 们 编写 的 是 诊断 测试 , 它 能 监测 应 用 程序 的 “健康 程度 ”。 

那么 Calculator 类 有 没有 问题 存在 呢 ? 我 们 可 以 按照 前 面 章节 学 习 的 测试 用 例 设 计 方 
法 为 每 个 测试 方法 寻找 合适 的 测试 用 例 。Calculator 类 的 实现 非常 简单 ,加 法 减法 和 乘法 
只 需要 一 个 测试 用 例 测试 正常 情况 就 足够 了 ; 而 除法 应 该 考虑 除数 是 否 为 零 , 这 里 需要 设 
计 两 个 测试 用 例 。 我 们 选取 测试 用 例 (1,2) 和 (1,0) 对 Divide() 方 法 进行 测试 。 

按照 一 个 测试 对 应 一 个 方法 的 原则 ,这 里 应 该 编写 两 个 测试 方法 testDivide O 和 
testDivide2() 。 

testDivide2() 方 法 来 进行 测试 用 例 (1,0) 的 测试 。 接 下 来 问题 又 出 来 了 ,测试 “三 步 走 ” 
依次 是 : 测试 准备 ,测试 运行 和 测试 结果 判断 。 当 除数 为 0, 除法 是 不 能 进行 的 ,没有 计算 结 
果 , 所 以 无 法 执行 Assert 断言 。 运 行 该 testDivide2() 方 法 的 话 ,测试 失败 ,出现 红 条 。 运 行 
结果 如 图 7-28 所 示 ,测试 失败 ,系统 返回 ArithmeticException: /by zero 异常 。 

同样 的 问题 还 可 能 出 现在 应 用 程序 连接 数据 库 的 过 程 中 。 如 果 数 据 库 服务 器 正确 配 
置 , 测 试 程序 可 能 会 测试 你 的 数据 库 连接 字符 串 是 否 合乎 要 求 。 当 数据 库 关闭 或 无 空闲 连 
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JUnit 
JUnit 
Test class name: 


kest. CaicuiatorTest 


[.; Reload classes every run 
A JU 


Runs: 55 X Errors: 1 X Failures: 0 


Results: 


[E3 test CalculatorTest 
testadd 
testMinus 
testMultiphy 
testDivide 

X testDivide2 


|. XFailures | 上 Test Hierarchy 


java lang. ArithmeticException: / by zero = 
attest. Calculator.divide(Calculator java:22) 

attest. CalculatorTesttestDivide2(CalculatorTestjava:37) F 
atsun.reflect NativeMethodAccessorlmpl.invokeD(Native Method) 


atsun reflect NativeMethodAccessorlmpl.invoke(Unknown Source) |w] 
1 N 


[Finished: 0.14 seconds 


图 7-28 “ 除 以 零 ”测试 失败 ,返回 异常 


接 , 即 使 程序 配置 正确 也 无 法 正常 连接 数据 库 , 系 统 会 抛 出 异常 。 

还 比如 访问 空 的 堆栈 等 ,这 些 情 况 下 ,程序 会 自动 抛 出 异常 ,出 现 错误 。 出 现 这 些 问 题 
的 原因 在 于 应 用 程序 没有 对 异常 情况 进行 处 理 ,也 就 是 说 程序 中 缺少 了 对 异常 情况 进行 处 
理 的 代码 。 

测试 程序 的 正常 功能 是 必须 做 的 ,测试 异常 处 理 可 能 更 重要 。 一 个 程序 除了 能 正常 的 
完成 主要 功能 外 ,还 应 对 错误 有 预防 功能 。 测 试 完 成 后 ,一 个 应 用 程序 不 应 显示 任何 “黑屏 ” 
或 错误 警告 ,而 应 详细 的 捕获 .记录 并 解释 所 有 的 错误 。 

按照 这 种 思路 来 看 ,Divide() 方 法 显然 是 不 完整 的 , 它 缺少 了 对 “ 除 以 零 ”情况 的 处 理 ， 
这 也 是 执行 测试 用 例 (1 ,0) 时 出 现 错误 的 原因 。 接 下 来 我 们 要 修改 Divide() 方 法 ,为 Divide() 
增加 对 “ 除 以 零 ” 情 况 的 处 理 代码 。 

修改 后 的 Divide() 方 法 。 


public int divide(int a, int b) throws Exception { 
if(0 -- b)( 
throw new Exception(" 除 数 不 能 为 零 !"); 
} 
return a / b; 


) 


修改 后 的 Divide() 方 法 增加 了 对 除数 b 为 零 的 判断 , 当 b 等 于 0 时 抛 出 异常 。 我 们 用 
抛 出 异常 的 方式 来 模拟 异常 条 件 。 
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throw new Exception(" 除 数 不 能 为 零 !"); 


为 了 使 异常 能 够 正常 抛 出 ,方法 声明 中 增加 throws Exception 代码 。 

经 过 这 样 的 修改 ,Divide() 方 法 就 显得 更 加 完整 , 下面 我 们 来 讨论 怎样 对 Divide( ) 方 法 
进行 测试 。 

修改 后 的 Divide() 方 法 有 两 类 输出 ,一 类 是 正常 除法 结果 , 另 一 类 是 除数 为 零 时 抛 出 的 
异常 。 所 以 ,我 们 要 编写 两 个 测试 方法 testDivide() 和 testDivide2() 来 分 别 测试 这 两 种 

正常 除法 的 测试 方法 testDivide() 前 面 已 经 编写 完毕 ,那么 对 于 “ 除 以 零 ” 抛 出 的 异常 我 
们 怎样 来 测试 呢 ? 原理 是 一 样 的 ,仍然 是 “三 步 走 ” 的 基本 步骤 ,不 过 测试 程序 要 增加 捕获 异 
常 、. 判 定 异 常 的 代码 。 

testDivide2() 方 法 利用 try{} 和 catch{} 来 检测 和 捕获 Divide() 方 法 抛 出 的 异常 ,然后 
再 以 适当 的 方式 对 异常 进行 判断 ,决定 测试 结果 。 异 常情 况 的 判断 有 多 种 方法 ,这 里 列举 两 
种 仅 供 参考 。 

方法 1: 测试 “ 除 以 零 " 情 况 的 testDivide2() 方 法 的 第 一 种 代码 


public void testDivide2(){ 
try( 

cal.divide(1,0); 

Assert. fail(); 


2. 
2 
3 
4 
5. } 
6 catch( Exception ex){ 
7 Assert.assertTrue(true); 
8. ) 
9. ] 
方法 1 比较 简单 ,在 try 结构 中 调用 被 测 divide(1,0) 方 法 ,如 果 出 现 异常 将 被 catch 结 
构 捕 获 。 第 4 行 引 入 Assert 类 中 的 fail 方法 ,如 果 测 试 遇 到 了 fail() 语 句 , 测 试 将 会 失败 ， 
就 像 是 断言 失败 一 样 。 如 果 像 我 们 设计 的 那样 ,divide 方法 抛 出 了 异常 ,那么 fail 语句 将 不 会 
被 执行 到 。 这 里 加 入 fail 语句 能 有 效 避 免 程序 出 现 其 他 意外 情况 。 第 7 行使 用 assertTrue 
(true) 方 法 表明 这 是 期 待 的 成 功 条 件 , 如 果 程 序 捕获 到 了 异常 ,那么 测试 就 成 功 了 。 
方法 2: 测试 “ 除 以 零 ”情况 的 testDivide2() 方 法 的 第 二 种 代码 


1. public void testDivide2(){ 
2 Throwable tx = null; 
3 try{ 

4. cal.divide(1,0); 
S, Assert. fail(); 
6 ) 

7 catch(Exception ex){ 

8 tx 7 ex; 

9. ) 

10. Assert.assertNotNull(tx); 

3T. Assert.assertEquals(Exception. class, tx. getClass()); 
12. Assert. assertEquals(" [£ BU RE HF!" , tx. getMessage()) ; 
13. ] 
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方法 2 相对 于 方法 1 增加 了 一 些 对 异常 进行 实质 性 断言 的 语句 。 

在 第 2 行 我 们 定义 了 一 个 Throwable 类 型 的 变量 tx,Throwable 类 是 Java 语言 中 所 有 
错误 或 异常 (Error、Exception 类 等 ) 的 超 类 。 只 有 当 对 象 是 此 类 (或 其 子 类 之 一 ) 的 实例 时 ， 
才能 通过 Java 虚拟 机 或 者 Java throw 语句 抛 出 。 类 似 地 ,只 有 此 类 或 其 子 类 之 一 才 可 以 是 
catch 子 句 中 的 参数 类 型 。 

第 8 行 通过 赋值 的 形式 得 到 异常 变量 ,为 接 下 来 的 异常 断言 做 准备 。 

第 10 一 12 行 是 连续 的 3 个 断言 ,它们 从 不 同 角度 对 变量 tx 进行 断言 。assertNotNull() 方 
法 来 断言 tx 是 否 为 空 ; 第 11 行 断言 异常 变量 tx 的 类 型 是 否 是 异常 类 型 ; 第 12 行 断言 异 
常 变量 tx 的 字符 串 是 否 为 指定 字符 串 “ 除 数 不 能 为 零 1”。 这 3 个 断言 不 必 都 写 出 来 ,这 里 
只 是 想 给 大 家 演示 异常 断言 的 多 种 形式 。 

增加 对 异常 的 断言 能 够 更 精确 地 认定 测试 状态 ,特别 是 在 出 现 red bar 时 ,有 助 于 我 们 
迅速 找到 问题 所 在 。 


5. 完整 的 CalculatorTest 测试 类 


经 过 上 述 内 容 的 讲解 ,我 们 学 会 了 使 用 JUnit 进行 测试 的 基本 方法 。 下 面 给 出 被 测 类 
Calculator 和 测试 类 CalculatorTest 的 完整 代码 。 
完整 的 Calculator 类 代码 


package test; 
public class Calculator{ 
// 数 学 运算 
// 加 法 
public int add(int a, int b){ 
returna + b; 
) 
// 减 法 
public int minus(int a, int b)( 
returna - b; 
) 
// 乘 法 
public int multiphy(int av int b){ 
returna * b; 


) 


// 除 法 
public int divide( int a, int b) throws Exception{ 
if(0 == b){ 


throw new Exception( "除数 不 能 为 零 !"); 
} 


return a / b; 


} 
完整 的 CalculatorTest 类 代码 


package test; 
import junit. framework. TestCase; 
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import junit. framework. Assert; 
public class CalculatorTest extends TestCase{ 
private Calculator cal; 
public void setUp()( 
cal = new Calculator(); 
//Systen. out. println("SETUP"); 
} 
public void tearDown(){ 
//System. out. println("TEARDOWN") ; 
} 
public void testAdd()( 
/ /Systen. out. println("testAdd"); 
int result = cal.add(1, 2); 
Assert.assertEquals(3, result); 
} 
public void testMinus(){ 
/ /Systen. out. println("testMinus"); 
int result = cal.ninus(1, 2); 
Assert.assertEquals( - 1, result); 
) 
public void testMultiphy()( 
/ /Systen. out. println("testMultiphy"); 
int result = cal.multiphy(1,2); 
Assert.assertEquals(2, result); 
) 
public void testDivide()( 
int result - 0; 
try{ 
result = cal.divide(1,2); 
} 
catch(Exception e){ 
e. printStackTrace(); 
Assert. fail(); 
) 
Assert.assertEquals(0, result); 


) 

public void testDivide2()( 
Throwable tx = null; 
int result = 0; 
try{ 


//Calculator cal = new Calculator(); 

result = cal.divide(1,0); 

Assert. fail(); 
) 
catch(Exception ex){ 

tx = ex; 
) 
Assert.assertNotNull(tx); 
Assert.assertEquals(Exception. class, tx. getClass()); 
Assert.assertEquals(" [j SI BE JJ 2€! " , tx. getMessage()); 
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7.3.5 从 Eclipse 中 运行 JUnit 测试 


在 日 常 开发 中 ,开发 人 员 都 使 用 Java IDE 编写 和 测试 代码 ,大 多 数 的 Java IDE 把 
JUnit 作为 它们 工具 集 的 一 部 分 ,允许 程序 员 在 指定 的 环境 中 调用 JUnit。 现 在 ,开发 人 员 
能 够 在 一 个 无 颖 的 环境 中 调试 编辑、 运行 ,测试 一 个 类 。 

对 于 Java IDE 的 优 劣 这 里 不 做 评论 ,我 们 只 讨论 用 Eclipse 建立 一 个 项 目 和 运行 测试 
的 过 程 。 

Eclipse 是 著名 的 、 开 放 源 代码 的 、 跨 平台 的 集成 开发 环境 (Integrated Development 
Environment, IDE) ,可 以 免费 下 载 。 最 初 主要 用 来 进行 Java 语言 开发 ,目前 也 有 人 通过 插 
件 使 其 作为 其 他 计算 机 语言 (如 C++ 和 Python) 的 开发 工具 。Eclipse 是 基于 Java 的 可 扩展 
开发 平台 , 它 只 是 一 个 框架 和 一 组 服务 ,用 于 通过 插件 构建 开发 环境 ,但 是 众多 插件 的 支持 
使 得 Eclipse 拥有 其 他 功能 相对 固定 的 IDE 软件 很 难 具有 的 灵活 性 。 许 多 软件 开发 商都 以 
Eclipse 为 框架 开发 自己 的 IDE。 

Eclipse 集成 了 JUnit, 只 需要 简单 的 设置 就 可 以 非常 方便 地 编写 .运行 测试 程序 。 这 
里 ,我 们 来 演示 一 下 用 Eclipse 创建 .运行 测试 项 目的 步骤 ,测试 项 目 总 包含 Calculator 类 和 
CalculatorTest 类 , 

步骤 一 : 创建 测试 项 目 。 打 开 Eclipse 应 用 程序 ,选择 文件” 一“ 新建” 一 “Java 项 目 ”， 
打开 “新 建 Java 项 目 ” 窗 口 ,如 图 7-29 所 示 , 在 Project name 编辑 框 中 输入 项 目 名 称 
TestProject, 单 击 “ 下 一 步 ” 按 钮 。 


E y Java 项 目 


Create a Java Project 
Create a Java project in the workspace or in an external location. 


Eroject name: TestProject| 
Contents 


(Create new project in workspace 


(Create project from existing source 


JRE 

(Use default JRE (Currently ' jrel.5.0 16) 

OVse a project specific JRE: 

OVse an execution environment JRE: 

Project layout 

(se project folder as root for sources and class files 


Create separate folders for sources and class files Configure default 


Working sets 


口 Aaa project to working sets 


图 7-29 $Æ Java 项 目 TestProject 
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在 接 下 来 的 “Java 设置 "窗口 中 选择 “ 库 ” 页 面 , 单 击 “ 添 加 库 ” 按 钮 ,如 图 7-30 所 示 。 


E J Java MH 


S 源 代 码 G) GAR) AEL  % LT 
构建 路 径 上 的 JAR 和 类 文件 夹 ; 


& mà JRE RHE [jrel.5.0 16] 添加 JAR. 
添加 外 部 JR.. 
Sem... 


沃 加 类 文件 夹 O). 
Add External Class Folder... 


图 7-30 Java 项 目 设置 


在 “添加 库 ” 页 面 中 选择 JUnit 选项 , 单 击 * 下 一 步 按 钮 ,如 图 7-31 所 示 。 然 后 在 图 7-32 
页 面 中 选择 JUnit 的 版 本 ,这 里 我 们 选择 JUnit 3. 8. 1, 单 击 “ 完 成 ”按钮 成 功 创建 项 目 
TestProject。 如 图 7-33 所 示 ,项目 TestProject 的 文件 目录 中 已 经 包含 了 JUnit. jar FE XC 
件 , 接 下 来 就 可 以 使 用 JUnit 进行 测试 了 。 


添加 库 
选择 要 添加 的 库 类 型 。 


[REESE 


(i ———— 


Larp 取消 


7-31 选择 JUnit 库 
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Init 库 

选择 要 在 此 项 目 中 使 用 的 JUnit KE. E^ à 
j 

JUnit FRE: x 

当前 位 置 : junit. j 


:VeclipseVWluginsVorg. junit, 3.8. 2. v20090602-1318. 
Source location: org junit, source, 3. 8.2. v20060602-1318. jar - C: \eclipse\plugins 


7-32 选择 JUnit 版 本 


xp educ) Sec EOD ME Sto 项 ECG) 运行 G) 窗口 四 Who» 
[= EE EA 
Jaminia 0 omues cO 


od 


图 7-33 TestProject 项 目 创建 成 功 


步骤 二 : 建立 测试 项 目 结构 。 在 前 面 Calculator 类 的 测试 中 ,我 们 把 所 有 的 被 测试 代 
码 和 源 代码 都 放 在 同一 个 文件 夹 中 ,这 些 只 是 对 示例 类 的 基本 测试 ,所 以 这 种 方法 看 起 来 很 
简单 。 在 这 里 ,我们 将 开始 用 真实 的 测试 项 目 构建 方法 创建 源 代码 库 。 
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到 目前 为 止 ,我 们 只 有 一 个 测试 类 CalculatorTest, 把 它 和 源 代码 放置 在 一 起 不 是 什么 
大 事 。 但 是 ,经 验 告 诉 我 们 , 随 着 测试 类 和 源 代码 类 的 增多 ,把 它们 都 放 在 同一 个 目录 下 会 
造成 文件 管理 方面 的 麻烦 ,影响 查找 速度 和 发 布 管理 。 

当 我 们 面 对 测试 项 目 中 的 大 量 代码 时 ,最 好 的 做 法 是 构建 “两 个 文件 夹 ,一 个 包 ” 的 项 目 
层次 结构 。“ 两 个 文件 夹 ” 指 的 是 用 不 同 的 源 文件 夹 把 被 测 源 代码 和 测试 代码 分 开放 置 ; 
“一 个 包 ” 是 指 把 被 测 类 和 对 应 测试 类 放置 在 相同 的 包 结 构 中 。 这 样 做 既 能 实现 源 代码 和 测 
试 代码 的 分 离 , 又 能 不 影响 被 测 类 和 对 应 测试 类 之 间 的 引用 关系 。 

通过 使 用 一 个 单独 的 测试 目录 ,实现 了 被 测 代 码 和 测试 代码 的 分 离 ,而 且 我 们 可 以 更 容 
易 地 发 布 运行 时 的 jar 包 ,其 中 只 包含 被 测 源 代 码 。 同 时 ,这 样 的 做 法 也 使 自动 运行 所 有 测 
试 变 得 简单 了 。 


图 7-34 是 项 目 TestProject 的 类 层次 结构 ,src 文件 [Ir CEN emn 
夹 存放 被 测 类 源 代码 ,testclass 文件 夹 存放 测试 类 代 [emm 
码 ; 在 这 两 个 文件 夹 中 ,我 们 创建 了 相同 的 三 层 包 结构 I ee eit 
TestBook, UnitTest JUnit。 在 这 种 情况 下 ,被 测 代码 || Sr itn ne 
放 在 TestProject\src\TestBook \UnitTest\JUnit, 只 为 E mh JUnit 3.8.1 


测试 而 编写 的 测试 类 则 位 于 TestProject V testclass V 7-34 测试 项 目 层次 结构 
TestBook \UnitTest\JUnit 。 

步骤 三 : 编写 代码 。 选 中 包 TestBook. UnitTest. JUnit ,在 右键 菜单 中 选择 “新 建 >~> 
“类 ”, 出 现 图 7-35 所 示 的 “新 建 Java 类 ”窗口 ,在 “名 称 ” 一 栏 输入 Calculator, 单 击 “ 完 成 ” 按 
钮 。 实 现在 TestProject\src\TestBook\UnitTest\JUnit 中 创建 Calculator 类 ,最 后 ,编辑 相 
应 代码 。 


E NR Java 类 


Java 类 
D 建议 不 要 使 用 此 包 名 。 根据 约定 ， 包 名 通常 以 小 写字 母 开头 


Bex: Testfroject/src. 
aw: TestBook Uni tTest. JUnit 
口外 层 类 型 QD) : 


ELI Calculator] 
: OLAY ORSU 
口 抽象 和 ) De o 


java. Lang. Object 


起 要 创建 哪些 方法 存根 了 
[public static void mainGtring[] args) 
口 来 自 超 类 的 构造 函数 CC) 
回 继承 的 抽象 方法 0) 
想 要 象 在 当前 项 目的 尾 考 中 配置 的 那样 来 添加 注释 吗 ? 
口 生成 注释 如 


图 7-35 $Æ Calculator 类 
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接着 ,使 用 同样 的 方式 在 TestProjectMestelassN TestBookN UnitTest\JUni 结构 中 创建 


测试 类 CalculatorTest 类 ,并 编辑 代码 ,如 图 7-36 所 示 。 


src/TestBook/UnitIest/JUnit/Calculator.java 一 Eclipse 


SDE 


public int add(int sint b) 
& [] CdxdeteTest. jore T 
由 mh JRE AGE (5 008] 
S må Meit 3.8.1 
DE jeit jer - C \eclipsiplogias 1 


return a+b 


public imt ninss(int aint b) 


return a - b 


1 


Ju 
qublic imt mltipty Gint sint b) 


return a * b 


1 


Ti 
qublic int divide(imt s,int b) throws Beception 


if(0 == b) 


throw new Exception "除数 不 能 为 等 !“) ; 


return à / b 


图 7-36 编写 类 代码 


步骤 四 : 运行 测试 。 代 码 编辑 完成 后 , 接 下 来 我 们 就 要 运行 测试 检验 结果 。 由 于 


Eclipse 已 经 和 JUnit 无 颖 集成 ,所 以 测试 运行 的 相关 
操作 都 可 以 通过 Eclipse 的 相关 菜单 实现 。 打 开 
CalculatorTest 测试 类 , 单 击 工 具 栏 上 的 “运行 "按钮 
旁边 的 下 拉 菜 单 0 ,选择 “运行 方式 ”一 “JUnit W 
试 ”; 或 者 选择 菜单 “运行 ">“ 运 行 方 式 ”>“JUnit W 
试 "。 测 试 开始 运行 ,运行 完毕 后 在 Eclipse 的 左 侧 栏 
中 显示 运行 结果 ,如 图 7-37 所 示 , 出 现 绿 条 ,测试 成 
功 。 绿 条 下 方 还 显示 了 每 个 测试 方法 的 运行 结果 和 
运行 时 间 。 

如 果 出 现 红色 进度 条 , 则 测试 失败 ,在 左下 角 故 
障 跟踪 框 中 会 显示 失败 的 详细 信息 。 

至 此 ,四 则 运算 类 Calculator 的 测试 完整 结束 ,我 
们 通过 这 个 例子 向 大 家 全 面 地 展示 了 JUnit 的 基本 使 
用 方法 。 当 然 ,JUnit 在 测试 方面 的 强大 功能 远 不 止 
这 么 简单 ,关于 JUnit 更 加 高 级 的 应 用 请 读者 自行 参 


| Be 


PI 


EE] testhdd (0.000 s) 
É testMinus (0.000 s) 
É testlltiphy (0.016 s) 
Ek] testDivide (0.000 s) 
Ek] testDivide2 (0.000 s) 


图 7-37 测试 结果 
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7.3.6 用 Eclipse 插件 辅助 测试 


开发 软件 时 ,我们 的 主要 目标 之 一 是 尽早 找到 缺陷 。 很 显然 , 越 是 了 解 如 何 编写 更 好 的 
代码 以 及 如 何 有 效 测试 软件 ,就 越 能 及 早 地 捕捉 到 缺陷 。 我 们 也 很 想 要 一 张 能 发 现 潜在 缺 
陷 的 安全 之 网 。 

这 里 我 们 来 讨论 使 用 Eclipse 插件 在 编码 过 程 中 进行 一 定 程 度 的 质量 检验 ,帮助 我 们 在 
构建 软件 或 集成 前 发 现 潜在 的 缺陷 。 表 7-4 列 出 了 几 个 典型 的 Eclipse 插件 的 信息 。 


表 7-4 辅助 测试 的 Eclipse 插件 


插件 名 称 用 途 下 载 URL 
CheckStyle 编码 标准 分 析 http://eclipse-cs. sourceforge. net/update/ 
Coverlipse 测试 代码 覆盖 率 http://coverlipse. sf. net/update 
CPD 检查 代码 重复 http://pmd. sourceforge. net/eclipse/ 
JDepend 依赖 项 分 析 http://andrei. gmxhome. de/eclipse/ 
Metrics 复杂 度 监控 http://metrics. sourceforge. net/update 


1. 安装 Eclipse 插件 


Eclipse 插件 的 安装 方法 大 致 有 两 种 ,一 种 是 从 插件 下 载 网 站 下 载 安 装 包 , 直接 把 对 应 
的 文件 复制 到 Eclipse 的 安装 目录 中 ; 另 一 种 是 在 Eclipse 界面 中 安装 。 这 里 我 们 介绍 第 二 
种 安装 方法 。 

步骤 一 : 启动 Eclipse, 选 择 菜单 项 Help Software Updates 一 Find and Install, 如 图 7-38 
所 示 。 


Fie Edt Source Refator Navigate Sewch Project Rum FieldAssist — 


ri- $59-0-9-9- d ume -:13:0:9 
b Ô Help Contents 
P Search sr 
= M E 
$18 uc 


E 外 tests/component 


E (8 testsjperformance 


二 外 testsjunt 

© BÀ RE System Lbrary [2sdk 4.2.1 Abou Edpse SOK 18) Mange Configuration 

8 C» reports —náÓ———ÁÓQ: P 
E C» bud 


图 7-38 寻找 并 安装 Eclipse 插件 


步骤 二 : 选择 Search for new features to 


区 
install 单 选 按钮 , 单 击 Next 按钮 。 mo 
步骤 三 : 单 击 New Remote Site, 输 入 要 安装 |vRs [httpiilpmd.sourceforge.netlecipse| ] 

的 插件 名 和 URL( 见 图 7-39) , 单 击 OK 按钮 , 然 


9 


后 单 击 Finish 按钮 来 显示 Eclipse 更 新 管理 器 。 mcum 


步 又 四 : 在 Eclipse 更 新 管理 器 中 ,选择 待 


图 7-39 配置 插件 的 下 载 站 点 
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安装 插件 并 单 击 Next 按钮 ,如 图 7-40 所 示 。 安 装 完成 后 重启 Eclipse, 新 的 插件 即 可 使 用 。 
按照 上 述 步骤 安装 其 他 Eclipse 插件 ,只 需 改 变 插件 名 和 相应 的 下 载 位 置 即 可 。 
下 面 我 们 分 别 描述 这 些 插件 的 用 法 。 


Search Results 
Select features to install from the search result list. 


Select the features to install 


EEE] 


PMD for Eclipse Update Ste 


1 of 7 selected. 
Show the latest yersion of a Feature only 
Fiter features induded in other features on the ist 


Æ 7-40 ”Eclipse 更 新 管理 器 


2. 用 CheckStyle 校正 标准 


代码 库 的 可 维护 性 直接 影响 着 软件 的 整个 成 本 。 另 外 ,不 佳 的 可 维护 性 还 会 让 开发 人 
员 十 分 头痛 (进而 导致 开发 人 员 的 缺乏 ) 。 代 码 越 容易 修改 ,就 越 容 易 添 加 新 的 产品 特性 。 
CheckStyle 插件 可 以 协助 寻找 那些 会 影响 到 可 维护 性 、 与 编码 标准 相 冲 突 的 地 方 ,例如 ,过 
大 的 类 、 太 长 的 方法 和 未 使 用 的 变量 等 。 

使 用 CheckStyle 插件 的 好 处 是 能 够 在 编码 过 程 中 了 解 到 源 代码 上 下 文 的 各 种 编码 冲 
突 , 让 开发 人 员 更 可 能 在 签 入 该 代码 前 真正 处 理 好 这 些 冲 突 。CheckStyle 插件 也 可 以 被 视 
为 一 个 连续 的 代码 复查 工具 。 

CheckStyle 插件 安装 完成 后 需要 做 如 下 配置 ( 见 图 7-40 

在 当前 项 目 ,打开 项 目 属性 对 话 框 ,找到 Checkstyle 页 面 ,选择 CheckStyle active for 
this project 复 选 框 , 单 击 OK 按钮 。 它 的 作用 是 在 当前 项 目 中 进行 代码 检查 。 

Eclipse 重新 构建 工作 空间 ,并 在 Eclipse 控制 台中 列 出 已 发 现 的 编码 冲突 ,如 图 7-42 
所 示 。 

使 用 CheckStyle 插件 在 Eclipse 内 嵌入 编码 标准 检验 是 一 种 积极 主动 的 方法 ,用 这 种 
方法 可 以 在 编码 时 积极 地 改进 代码 ,从 而 在 开发 周期 的 早期 发 现 源 代码 中 潜在 的 缺陷 。 这 
么 做 还 有 更 多 的 好 处 ,如 节省 时 间 \ 减 少 失败 ,也 因此 会 减少 项 目的 成 本 。 
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Info > 
Builders Main |Local Check Configurations | : 
Checkstyle 4 
Tue TM F Checkstyle active for this project 1 
让 Java Code Style Advanced - configure file sets to control which fil 
8B ] 


Java Conpiler 
Javadoc Location 
Ünondo Profiles 
Project References 
WIL Profiles 


Enabled File Set Che 


7-41 配置 CheckStyle 插件 


ES SE EOC EEE E S 
-"zT 
* This class provides the functionality to check a set of files. 
Oliver Burn 
<a href-"mailto:stephane.bailliez8wanadoo.fr"»Stephane Bailliezc/a» 
lkuehne 


"public class Checker extends AutomaticBean 
implements MessageDispatcher 
i 


/** maintains error count */ 


private final firstsentence should end with a period|^te = 
new Se Press 'F?' for foc.s| - yLevel . ERROR) ; 


/[** vector of listeners */ 
private final ArrayList mListeners = new ArrayList(); 


/** vector of fileset checks */ 
private final ArrayList mFileSetChecks = new ArrayList (); 


/** class loader to resolve classes with. **/ 
private ClassLoader mLoader = 
Thread.currentThread().getContextClassLoader(); 


11 errors, 89 warnings, 0 infos (Fiter matched 100 of 8,682 items) 
Resource In Folder. 


First sentence should end with a peri... Checker.j... —checkstyle/src/checkstyle/... line 72 
First sentence should end with a peri... Checker... — checkstyle/src/checkstyle/... line 75 zl 


ERE NND 


图 7-42 Eclipse 中 CheckStyle 的 代码 冲突 列表 


db | 《fshould be on the previous ine. Chederj.. chedstyejsrc/chedkstyle/... _ ine 52 = 
& First sentence should end with a peri... Checkerj..  checkstyle/src/chedkstyle/... line 53 

Ô First sentence should end with a peri... Chedkerj..  chedstyle/src/chedstye/... ine 57 

ô Checker.j...  checkstylejsrc/checkstyle/... line 60 

y Chederj.. chedstylesrc/chedkstyle/... ine 67 

y Chederj.. chedstye/src/chedstye/... ine 70 

à 

s 


到 二 | 


3. 用 Coverlipse 确认 覆盖 率 
Coverlipse 是 一 个 代码 覆盖 率 工 具 , 它 能 够 把 JUnit 测试 的 代码 覆盖 直观 化 , 它 的 独到 


之 处 就 是 与 Eclipse 开发 平台 无 缝 结合 。Coverlipse 能 够 在 一 个 JUnit 运行 之 后 马上 显示 
覆盖 结果 并 可 把 结果 导 成 XML 文件 。 
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Coverlipse 安装 完成 后 ,在 Eclipse 的 Run 对 话 框 中 配置 Coverlipse, 实 现 和 JUnit 的 关 
联 。 在 左 侧 栏 中 右 击 JUnit w/Coverlipse 节点 ,选择 New 新 建 下 级 页 面 ,如 图 7-43 所 示 。 
在 这 里 配置 运行 测试 之 后 马上 使 用 Coverlipse 对 代码 进行 覆盖 率 检查 。 


Mone conconert cei 
[1 CD LED. DM 


On a noe test 


Pan gl tests in the selected project, package or source folder: 
tessjcongorent 


eme Ank njcoveripee running after a test nun when dotuggeg 


7-43 ”配置 Coverlipse 以 获取 代码 覆盖 率 


使 用 JUnit 测试 过 程 中 ,一旦 运行 测试 Eclipse 会 启动 Coverlipse 并 在 源 代码 (如 图 7-44 所 
示 ) 中 嵌入 标记 ,该 标记 显示 了 执行 代码 的 覆盖 情况 。 


ITI 


IJ 
"Bí s5 
protected Connection getConnectioniString uri} t ^ ARVOT 
return gatCOnmection(Constants. DRIVER, url, Constants. USERNANE,  enberemen 


Constants. PASSWORD) 1 | 
| 8 (D^ ww 
getConvect 
Connection gRECORBÁCtIOB (String driver, String url, String userneme, g 
String password) ( ^ o 
Connection conn = mul; 2 dnos 


mt 
Class focNase (de iver) ; 
conn = DriverManager.getConmection|url, username, password): 
conn. set AutoCosmsit (false); 

) catch (SüLException se] í Li 
throw new Punt isefsceptionise); 

) catch (ClasshotFoundExceptiom ce) | * 


[4 


Ersen rests: (76%) Oe mn 


图 7-44 Coverlipse 生成 的 具有 嵌入 类 标记 的 报告 


正如 我 们 看 到 的 ,使 用 Coverlipse 插件 可 以 更 快 地 确定 代码 覆盖 率 。 我 们 可 以 在 集成 
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测试 前 更 好 地 进行 单元 测试 , 尽 可 能 地 提供 代码 覆盖 率 。 
4. 用 CPD 捕捉 代码 重复 


Eclipse 的 PMD 插件 提供 了 


具有 CPD 功能 。 


为 寻找 重复 的 代码 ,请 用 右键 单 击 一 个 Eclipse 项 目 并 选择 PMD- Find Suspect Cut 


and Paste, 如 图 7-45 所 示 。 


New 


一 项 叫做 CPD( 或 复制 粘贴 探测 器 ) 的 功能 ,用 于 寻找 重复 
的 代码 。 为 在 Eclipse 中 使 用 这 项 便利 的 工具 ,需要 安装 具有 PMD 的 Eclipse 插件 ,该 插件 


SD cw 
E: 2 STE | Open in New Window 
hr E cd Open Type Hierarchy. F4 
8) (8 tests [E Copy Chr+C 
B RES gs 
i 2 id f Paste Chl 
$e» |2 Delte 有 
8i tests — guid Path , 
IR sorce AkeShfteS V 
E Refactor AksShfteT Y 
X) cargt 
RÌ) chec Bzy Import... 
B dod vii boat. 
? Refresh. F5 
Close Project 
Run As , 
Debug As , 
Profile As » 
Validate 
Analysis , 
Fix Copyrights. ... 
p Force File Synchronization 
Team l4 
Compare With , 
Restore from Local History... PERI repar 
Frd Bugs n Ee Clear violations reviews 
ee , 
POE Te D po Clear r PMD Violations 
一 ED ] P oec 


图 7-45 使 用 CPD 插件 进行 复制 粘贴 检验 


一 旦 运行 了 CPD,Eclipse 根 目录 下 就 会 创建 出 


5. 使 用 JDepend 进行 依赖 项 检查 


JDepend 是 


一 个 report 文件 夹 , 其 中 包含 一 个 叫做 
cpd. txt 的 文件 ,文件 中 列 示 了 所 有 重复 的 代码 。 图 7-46 是 一 个 cpd. txt 文件 的 例子 。 

靠 人 工 来 寻找 重复 的 代码 是 一 项 挑战 ,但 使 用 像 CPD 这 样 的 插件 却 能 在 编码 时 轻松 地 
发 现 重复 的 代码 。 


个 可 免费 获取 的 开源 工具 , 它 能 在 编码 时 为 包 依赖 项 提供 面向 对 象 的 度量 
值 ,以 此 指明 代码 库 的 弹性 。 换 句 话说 ,JDepend 可 有 效 测量 一 个 架构 的 健壮 性 。 
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B erà. tzt - 记事 本 [I5] 
XPD REO dex FEV WEOD 

Found a 19 line(97 tokens) duplication in the following files: 

Starting at line 19 of 
Ci\dev\brewery\tests\unit\com\beer\business\service\BeerServic 
eUnitTestjava 

Starting at line 19 of 
Ci:\dev\brewery\tests\performance\com\beer\business\service\B 
eerServicePerformanceTestjava 


public void testPerformanceGetBeer( ) ( 

Collection beers = beerService.findAll( ); 

java.util.Iterator itor = beers.iterator( ); 

String name = null; 

Beer beer = null; 

while(itor.hasNext( )) ( 
beer = (Beer) itor.next( ); 
name 7 beer.getName( ); 
System.out.println("name12" + name); 


图 7-46 cpd. txt 文件 内 容 


图 7-47 演示 了 使 用 JDepend 插件 的 方法 : 通 
过 右 击 包含 源 代码 的 源 文件 夹 ,选择 Run JDepend 


Analysis。 一 定 要 选择 一 个 含 源 代码 的 源 文件 夹 ; 
否则 看 不 到 此 菜单 项 。 ze id 

图 7-48 显示 了 运行 JDepend Analysis 时 生成 is popen n 
的 报告 。 左 边 显示 包 , 右 边 显 示 针 对 每 个 包 的 依 rid me 
赖 项 度量 值 。 a e. Pest Cube 

& gs X Delete. Delete 

JDepend 插件 提供 了 有 助 于 不 断 观察 架构 可 B aus " 
维护 性 变化 的 大 量 信息 ,程序 员 可 以 在 编码 时 看 E € speed 
到 这 些 数 据 。 毫 无 疑问 ,这 些 数据 能 够 帮助 程序 D iamo... 
员 时 刻 保持 清醒 ,不 会 偏离 正确 的 方向 。 (ahmmm 2t 


6. 用 Metrics 测量 复杂 度 


Metrics 插件 可 以 进行 许多 有 用 的 代码 度量 ， 
包括 圈 复 杂 度 度量 , 它 用 于 测量 方法 中 唯一 路 径 


的 数目 。 
图 7- Run JDepend Analysis 
安装 Metrics 插件 并 重启 Eclipse 使 之 生效 ， ds pag i i 
然后 进行 如 下 配置 : 


右 击 项 目 名 并 选择 Properties 菜单 。 在 属性 对 话 框 的 左 侧 栏 中 选择 Metrics 节点 , 选 
择 Enable Metrics 复 选 框 并 单 击 OK 按钮 ,如 图 7-49 所 示 。 
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zip 
Ele Edit Navigate Search Projet Run Window Help 


BER A[J&- 


Eda 


Instability 


lele e-+- 

~ x | ig Dependencies x 
Selected object(s) 
Packag [ cccon... | acl(abs... [Calaff.) [ceer) [a Ji — [o [cue | 
did.ds 1 0 1 3 0.0 0.75 025 n 
Packages with cycle - 
Packag z [ Ac(abs... coat) [ceer) [a J1 — [o [ca | 
LE 1 0 1 2 0.0 0.66 0.33 n 
8b 1 0 3 2 0.0 0.40 0.60 n 
dd n 0 2 2 0.0 0.50 0.50 à 
d.da 1 0 1 3 0.0 0.75 0.25 à 
Hdd 1 0 1 3 0.0 0.75 02 Aà 


did 
dido 


Depends upon - efferent dependencies 


[ cccon... | ac(abs... [ calaft) [celeft) [a — [1 — [o [ca | 


z 
1 
1 


0 2 2 0.0 
0 1 3 0.0 


0.50 0.50 à 
0.75 0.25 å 


Used by - afferent dependencies 


Pad c a e 
did. 1 0 1 3 0.0 075 025 A 
7-48 运行 JDepend Aalysis 时 生成 的 分 析 报 告 


E Properties for Brewery 


type fiter text 


Info. 
Bulders 
Java Buld Path 

5$. Java Code Style 

ED Java Compler 
Javadoc Location. 
Project References 
Refactoring History 


Metrics 


图 7-49 


为 项 目 配置 Metrics 
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选择 Eclipse 中 的 Window 菜单 打开 Metrics 视图 ,然后 选择 Show View-- Other 选项 ， 
选择 Metrics 一 Metrics View 打开 如 图 7-50 中 显示 的 窗口 。 这 里 ,需要 使 用 Java 透视 图 并 


重新 构建 项 目 , 从 而 显示 这 些 度量 值 。 

单 击 OK 按钮 , Metrics 开始 运行 ,结果 显示 如 
图 7-51 所 示 。 这 个 例子 显示 了 一 个 单独 方法 的 圈 复 
杂 度 。 双 击 Metrics 列表 中 的 方法 名 ,该 插件 会 在 
Eclipse 编辑 器 中 为 此 方法 打开 源 代码 ,这 就 让 修正 变 
得 更 加 便捷 。 

正如 之 前 提 到 过 的 ,Metrics 插件 还 提供 了 许多 功 
能 强大 的 度量 值 ,有 助 于 我 们 在 开发 软件 的 过 程 中 改 
进 代码 。 

ER 5 种 插件 分 别 实现 了 编码 标准 、 代 码 重 复 、 代 
码 覆 盖 率 .依赖 项 分 析 和 复杂 度 监控 功能 ,它们 为 改进 
代码 质量 提供 了 便捷 途径 ,有 效 地 提高 了 编码 和 测试 
的 效率 。 但 是 ,这 里 还 需要 提醒 大 家 : 适合 的 , 才 是 好 
的 。 请 记 住 还 有 其 他 许多 可 用 的 Eclipse 插件 ,比如 
PMD FindBugs 等 ,它们 能 够 帮助 您 在 开发 周期 的 早 


E Show View 


国信 General 

B ER Ant 

3 © Cheat Sheets. 
& ces 

S (E Debug 

E © Hep 

5 C ava 

5 © Java Browsing 


B (E Metrics 
Il Dependency Graph View 
TI Layered Package Graph View 
[E Layered Package Table View 
B 

S C» PoE 

由 © PDE Runtime 


5 C Team. 


type fiter text 


7-50 Eclipse 中 的 Metrics View 


期 改进 代码 质量 。 不 管 你 想 要 的 工具 或 偏爱 的 方法 是 什么 ,重要 的 是 : 行动 起 来 去 积极 改 
进 代码 质量 并 让 手工 代码 检验 的 过 程 变 得 更 加 有 效 。 估 计 使 用 这 些 插件 一 段 时 间 后 ,你 就 


青 也 离 不 开 它 们 了 。 
Problems ]avadoc Dedaration Console djUnit Coverage Report | [7] Metrics - CoffeeMaker - Number of Static Methods (aygjmax per type) [x cmi 
» Will 
Metric Total | _Mean | Std. Dev. | Maximum | Resource. Maximum Method 
可 
本 Total Lines of Code 861 
图 Afferent Coupling (avg/max per packageFragment) 0 0 0 /CoffeeMakerjsrcjedujincsulcsc326jcoffe 
= Normalized Distance (avg/max per packageFragmen 0 0 0 jCoffeeMaker]src[eduincsulcsc326jcoffe... 
F Number of Classes (avg/max per packageFragment, — 13 — 4.333 — 1.247 6 jCoffeeMaker]acctest/fictures[eduincsul... 
F| Specialization Index (avg/max per type) 0128 — 0397 1,5 jCoffeeMakerjunittestsjedulncsu[csc326... 
=) Instabilty (avgjmax per packageFragment) 1 0 1 JCoffeeMaker/srcjeduncsujcsc326/coffe,., 
F Number of Attributes (avglmax per type) E] 3 — 196 6 jCoffeeMaker]src[eduincsulcscs26jcoffe... 
F Number of Packages 3 
= Method Lines of Code (avg/max per method) 520 4228 8.917 64 CoffeeMakerjsrcjedujncsulcsc326/coffe,., editRecipe 
困 Weighted methods per Class (avgjmax per type) 203 15615 13.006 50 jCoffeeMaker]srcJeduincsu/csc326[coffe... 
E Number of Overridden Methods (avg/max per type) 3 023 041 1 [CoffeeMakerjercjedu[ncsujcsc32éjcoffe... 
8) Number of Static Attributes (avgjmax per type) S 0385 107 4 /CoffeeMaker/src/edulncsulcsc326/coffe,,, 
困 Nested Block Depth (avgjmax per method) 1300 0.698 5 jCoffeeMaker]src[eduincsulcsc32e[coffe... ediRecipe 
| Number of Methods (aygjmax per type) 13 8692 4,794 16 |CoffeeMaker[acctestifixturesfedulncsu/, .. 
图 Lack of Cohesion of Methods (avg/max per type) 0.475 0.28 0.833 /CoffeeMaker/src/edujncsujcsc326/coffe,., 
困 McCabe Cyclomatic Complexity (avg/max per metho 165 1.687 12 /CoffeeMaker/src/edujncsulcsc326/coffe,,, edtRecipe 
Æ) Number of Parameters (avg/max per method) 0.472 0.616 4 jCoffeeMaker[srcjedujncsujcsc326jcoffe,., addinventory 
E Abstractness (avglmax per packageFragment) 0 0 0 jCoffeeMaker]srcJeduincsulcscs26[coffe... 
Œ Number of Interfaces (avgjmax per packageFragme 0 0 0 0 jCoffeeMaker]src[eduincsucsc326[coffe... 
[E Efferent Coupling (avg/max per packageFragment) 3 2449 6 jCoffeeMaker]acctest]ficturesledulncsul... 
E Number of Children (avgjmax per type) o 0 0 0 JCoffeeMaker/srcJedulncsujcsc326/coffe,.. 
困 Depth of Inheritance Tree (avg[max per type) 2385 — 0.923 3 jCoffeeMaker unittestsjedu[ncsujcsc326. . 
E B 
[ 


图 7-51 查看 方法 的 圈 复杂 度 
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(.4 利用 NUnit 进行 单元 测试 


NUnit 是 一 个 .NET 上 的 单元 测试 框架 , 它 和 JUnit 一 脉 相 承 ,都 是 xUnit 的 一 员 。 最 
初 , 它 是 从 JUnit 发 展 而 来 ,现在 最 新 的 版 本 是 2. 5. 8。 

NUnit 由 James W. Newkirk, Alexei A. Vorontsov 和 Philip A. Craig 共同 开发 完成 ， 
开发 过 程 中 Kent Beck 和 Erich Gamma 也 提供 了 许多 帮助 。NUnit 是 xUnit 家 族 中 的 第 4 
个 主打 产品 (前 三 个 分 别 是 : JUnit, CppUnit 和 DUnit), 它 完全 由 C# 语言 编写 ,充分 利用 
了 .NET 的 特性 ,比如 反射 ,客户 属性 等 。 最 重要 的 一 点 是 它 适合 于 所 有 的 . NET 语言。 

NUnitl. x 主要 是 移植 于 JUnit 3.8, 从 NUnit 2. 0 版 本 开始 ,NUnit 进行 了 重 写 和 重新 
设计 ,使 用 Attributes( 元 数据 ) 代 替 特 定 的 方法 和 相应 的 基 类 。 它 的 基本 原理 是 通过 . NET 
的 反射 机 制 ,利用 代码 中 的 属性 标识 (Attribute) 来 辨识 测试 类 和 测试 方法 。 

NUnit 3. 0 是 一 个 在 计划 中 还 没有 发 布 的 下 一 代 NUnit。 我 们 把 它 叫 做 NUnit 扩展 测 
试 平 台 , 以 区 别 于 目前 的 NUnit 框架 。 它 将 提供 一 个 当前 版 本 的 一 个 超 功能 集 , 能 够 支持 
更 多 的 测试 运行 器 (包括 Web 运行 器 等 )、 分 布 式 与 并 行 测试 运行 方式 、 乱 序 测试 以 及 事务 
式 测试 行为 。 

www. nunit. org 是 NUnit 的 官方 网 站 ,大 家 可 以 在 这 里 下 载 NUnit 的 各 种 版 本 。 需 
要 注意 的 是 ,NUnit 要 和 . NET Framework 类 库 配合 使 用 ,NUnit 2. 4. 8 以 前 的 版 本 支持 
. NET Framework 1.1 fll. NET Framework 2. 0 的 两 种 安装 包 , 大 家 在 使 用 中 要 注意 选择 ， 
如 图 7-52 所 示 。 

NUnit 2.4.8 
win ,net 1.1 |NUnit-2.4.8-net- 1.1.msi 


n 
win.net2.0 |NUnit-2.4.8-net- 2.0.msi 
bin .net 1.1 |NUnit-2.4.8-net- 1.1.zip 
n 
s 


bin.net2.0 |NUnit-2.4.8-net- 2.0.zip 


src NUnit-2.4.8-src.zip 
doc |NUnit- 2.4.8-doc. zip 


NUnit 2.4.7 
win .net 1.1 |NUnit-2.4.7-net- 1.1.msi 

win .net 2.0 |NUnit-2.4.7-net- 2.0.msi 

bin .net 1.1 |NUnit-2.4.7-net-1.1.zi 

bin .net 2.0 |NUnit-2.4.7-net-2.0.zi 


sre Nunit-2.4.7-src.zip 
doc nit-2.4.7- il 


图 7-52 下 载 Nunit 


7.4.1 NUnit 测试 的 基本 过 程 


在 讲解 JUnit 测试 的 过 程 中 ,我 们 使 用 到 了 四 则 运算 类 Calculator。 这 里 ,我 们 仍然 用 
这 个 例子 来 向 大 家 展现 NUnit 测试 的 基本 语法 。 

由 于 NUnit 适合 于 所 有 的 . NET 请 言 ,我们 选择 最 典型 的 C# 编程 环境 。 本 例 使 用 
Visual Studio .NET 2003(. NET Framework 1.1) 和 从 NUnit 官网 下 载 的 NUnit-2. 4. 8- 


231 


nA 


232 


Nf 


软件 测试 实践 教程 


net-1. 1. msi 来 进行 单元 测试 的 演示 。 

在 测试 之 前 ,我 们 要 下 载 NUnit 的 安装 程序 NUnit-2. 4. 8-net-1. 1. msi, 这 个 版 本 的 
NUnit 适合 于 在 .NET 1. 1 环境 中 使 用 。 执 行 安装 程序 的 过 程 很 简单 ,这 里 就 不 再 袭 述 。 
安装 完成 后 ,我 们 就 可 以 在 Visual Studio 2003 环境 中 来 创建 测试 项 目 了 。 

步骤 一 : 用 Visual Studio 2003 新 建 一 个 C# 类 库 项 目 NUnitOne, 如 图 7-53 所 示 。 


目 
Visual Studio 解决 方案 


"ESER ASP. NET Web ASP.NET Web 
应 用 程序 服务 ”加 


用 于 到 陡 在 其 他 应 用 程序 中 使 用 的 类 的 项 目 
E- TUB [nuni tone] 
TEO: [E:\My Documents\Visual Studio Projects z] MED... 


HE E:\My Documents Wisusl Studio ProjectsWUnitOne 处 创建 项 目 。 


更 多 多) 取消 La] 
图 7-53 创建 C# 新 项 目 NUnitOne 


步骤 二 : 为 项 目 NUnitOne 增加 一 个 引用 nunit. framework. dll; 
在 解决 方案 窗口 单 击 右键 ,在 弹出 的 菜单 中 选择 “添加 引用 ”, 在 弹出 的 窗口 “添加 引用 ” 
中 选择 . NET 页 面 中 的 组 件 nunit. framework. dll, 如 图 7-54 所 示 。 


解决 方案 资源 管理 器 - Nn... 2 X 添加 引用 区 | 


mE) am 


m joa [58 | 


meo). 


| A HORE “Mni tOn” SEES EX RE ^ 
initÜne" (1 
网 解决 方案 a 项目) ee | [ED 

zi (Z 了 Unit0ne amit. eme. tes 2480 — Ci\Progea Files\Winit 
munit extensions. tests — 248.0  C:\Progea FilesWnit 
3 HE m Ziso ee Hint 
manit fixtures. tests 2468.0  C\Progaa Files\init 
D System munit, Erenenor) 2460 C; VProgran FilesWlhit. 

munit. framework extinsions 2.68.0 — C rogue Files\Winit 一 
D System. Data munit. frasework. 2480 C: Program FilesWni t. 
anit mo 248.0  Ci\Progaa Filet 
* System. XML munitsocks. tests 2460  C\Progea Files\Minit, 
mnit viki 2480  Ci\Progaa Piles\Winit 

由 - C test EM Sian funem snc M 


[E] AssenblyInfo. cs 
[E] Calculator. cs 


Ez E: 三 [. so | 
添加 引用 QD... 
添加 web SIFH QD... [mE] xm E 
一 se 


图 7-54 添加 nunit. framework. dll 引用 


步骤 三 : 为 测试 代码 建立 专用 文件 夹 实现 源 代码 与 测试 代码 的 隔离 。 
源 代码 类 是 Calculator. cs, 实 现 四 则 运算 ,测试 代码 类 是 CalculatorTest. cs。 在 项 目 中 
新 建文 件 夹 test, 将 CalculatorTest. cs 放 入 其 中 ,如 图 7-55 所 示 。 
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步骤 四 : 编写 源 代码 类 Calculator. cs; 
四 则 运算 类 Calculator 的 完整 C# 代 码 如 下 : 


bi el Winitone" (1 项目) 
" - Wini tÜne 
using System; T mum 
namespace NUnitOne C) nunit. framework 
+0 Systen 
{ +O Systen. Data 
public class Calculator 一 +O System. WIL 


{ 


public int Add( int a, int b) [E] AssenblyInfo. cs 
{ 因 Caleslator. cs 
returna + b; 
} » 
解决 BE... 类 视图 
public int Minus(int a, int b) Ri eiie | Sj on 
{ 7-55 测试 项 目 结构 
returna - b; 
} 
public int Multiply(int a, int b) 
{ 
returna * b; 
} 


public int Divide(int a, int b) 
( 


return a / b; 


} 


} 


HRL: 编写 测试 代码 类 CalculatorTest. cs. 

这 里 仅 给 出 一 个 对 加 法 进行 测试 的 方法 testAdd() ,用 来 说 明 NUnit 测试 的 基本 要 素 ， 
其 他 测试 方法 将 在 后 续 内 容 中 逐步 完善 。 

using System; 


using NUnit.Framework; 
namespace NUnitOne. test 


{ 
/// < summary» 
/// 测试 类 
/// </summary> 
[TestFixture] 
public class CalculatorTest 
{ 
[Test] 
public void testAdd() 
{ 
Calculator cal = new Calculator(); 
inta - 3; 
intb - 2; 


int result = cal.Add(3,2); 
int expected - 5; 
Assert. AreEqual (expected, result); 
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注意 : 测试 类 代码 中 的 加 粗 字体 是 NUnit 测试 特有 的 关键 代码 和 属性 标记 。 


“using NUnit. Framework; ”用 来 引用 命名 空间 NUnit. Framework。 测 试 项 目 在 引 
用 框架 的 程序 集 nunit. framework. dll 后 ,所 有 的 NUnit 属性 都 包含 在 Nunit. 
Framework 命名 空间 里 。 

[TestFixture] 属 性 标记 一 个 测试 类 .并 且 要 求 测试 类 必须 是 public, 和 否则 NUnit 看 
不 到 它 的 存在 。 

[Testj 属 性 标记 一 个 测试 方法 。 要 求 测试 方法 没有 任何 参数 ,没有 返回 值 ,并 且 必 
须 为 public。NUnit 框架 是 通过 属性 标记 [TestFixture] 和 [Test] 来 标记 测试 类 和 
测试 方法 , 它 对 测试 类 和 测试 方法 的 命名 并 没有 限制 。CalculatorTest( 类 名 ) 和 
TestAdd( 方 法 名 ) 并 不 是 一 定 要 这 样 写 ,你 可 以 自由 地 命名 你 的 名 称 ,不 过 为 了 让 
代码 可 读 性 更 好 ,请 遵循 一 个 命名 规范 ,这 个 规范 可 以 是 公司 定 的 也 可 以 是 网 上 主 
流 的 命名 规则 。 

Assert. AreEqual 是 断言 。Assert 是 断言 类 , AreEqual 是 断言 方法 。 在 测试 框架 
中 ,断言 是 单元 测试 的 核心 ,我 们 在 测试 中 要 对 被 测 代码 的 调用 结果 进行 断言 。 如 
果 某 个 断言 失败 ,方法 的 调用 不 会 返回 值 ,并 且 会 报告 一 个 错误 。 如 果 一 个 测试 包 
含 多 个 断言 ,那些 紧 跟 失败 断言 的 那些 断言 都 不 会 执行 ,因此 每 个 测试 方法 最 好 只 
有 一 个 断言 。NUnit. Framework. Assert 有 23 个 重 载 方法 ,大 部 分 的 情况 它 都 考虑 
到 了 。 当 然 ,也 有 例外 情况 。 对 于 自 定义 对 象 的 比较 ,通常 需要 自己 编写 高 级 断言 


上 面 的 代码 中 , “int expected = 5;” 是 指 我 们 期 望 被 测 程序 执行 的 结果 是 5。*int 
result—cal. Add (3,2);” 则 通过 执行 Calculator. Add() 方 法 得 到 实际 的 值 。Assert. 
AreEqual(expected,result) 就 是 要 比较 被 测 方法 执行 结果 与 期 望 值 是 否 相 等 ,如 果 相 等 , 那 
么 测试 通过 ; 否则 ,提示 错误 ,测试 失败 。 
步骤 六 : 生成 NUnitOne. dll 文件 。 
分 别 执行 生成 菜单 中 的 “生成 解决 方案 "和 “生成 NUnitOne”, 得 到 NUnitOne. dll X 


。 该 文件 在 \NUnitOne\bin\Debug 文件 夹 中 。 


步骤 七 : 运行 NUnit 测试 。 


运行 NUnit 软件 ,打开 File Open Project, 加 载 文件 NUnitOne. dl ,如 图 7-56 所 示 。 
单 击 Run 按钮 启动 测试 ,得 到 测试 结果 。 界 面 中 出 现 绿色 进度 条 ,表示 测试 成 功 ,如 


图 7-57 所 示 o 


这 里 也 可 以 在 Visual Studio 中 自动 运行 NUnit-Gui, 这 样 做 的 好 处 是 可 以 跟踪 到 源 代 


码 调试 。 具 体 做 法 是 这 样 的 : 在 Visual Studio 中 的 解决 方案 资源 管理 器 侧 栏 中 右 击 工程 名 
NUnitOne, 在 弹出 菜单 中 选择 “属性 ”, 在 显示 对 话 框 的 左 侧 栏 中 选择 “配置 属性 ”>“ 调 试 ”， 
在 右 侧 启动 操作 栏 中 选择 “调试 模式 ?为 “程序 ”, 然 后 在 启动 应 用 程序 栏 中 填 人 NUnit 可 执 
行程 序 的 路 径 , 如 图 7-58 所 示 , 单 击 “ 确 定 ” 按 钮 完成 配置 。 之 后 ,你 就 可 以 使 用 Visual 
Studio 中 的 “调试 >“ 启动 ”来 运行 测试 类 了 。 


辆 mmnitone- dll - NUnit - (Ex 
Eile Yiew Project Iest Tools Help 


2 [g: ty DocunentsWisual Studio Proje 

5 Mni tûne 

EI 

kl COO CaleulatorTest 

5 test&dd. 

E 

* 

Ui — 
< > 


€ X | Errors and Failures | Tests Not Run | Console Out | Console. Error | Trace | Log 


NUni tOne Test Cases : 1 d 
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M WUnitOne.d1l — NUnit 
Eile View Project Test Tools Help 


号 [E ty Documents Wisual. Studio Proje 
HET do E: My Docunants\Yisusl Studio — 
MEET qvi ProjectsWWhi tÜneVbi nXDebugWUni tÜne. d11 
E B gb CacalstorTest i 
Em HEEL ELELELEEL LE B LLL IBI 
3 Test Cases: 1 Tests Run: 1 Failures: O Ignored: O Skipped: O Run Ti 
5 
s 点 
< > rests Not Run) Console. Out | Console. Error | Trace | Log | 
Conpleted Test Cases : 1 Tests Run : 1 Failures: O Time : 0.125 


7-57 测试 结果 


7.4.2 NUnit 的 布局 
为 了 充分 了 解 NUnit 的 功能 ,下 面 我 们 来 看 一 下 NUnit 界面 的 布局 和 常见 功能 。 
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HUnitOne 属性 页 


REO: [E Obu) z] 760: [活动 ( 严 D) 


O 通用 属性 局 用 ASF 调试 False 
| 局 配置 属性 局 用 asp NET 调试 False 
生成 局 用 非 托管 调式 False 
$ 调试 局 用 SQL 调试 False 
高 级 日 Eztet 
调试 模式 程序 
poem — -= ilni 2 «3\bin..| 


日 EHAR 
eem 
工作 目录 
始终 使 用 Internet Explore True E 


H 例如 ， 可 以 运行 使 用 类 库 项 目的 预 建 客 
户 端 。 此 选项 在 “调试 模式 ”设置 为 “程序 ”时 有 效 。 


[me] ws | 55] Ww | 


7-58 配置 NUnit 启动 


辆 WUnitone.dll - NUnit 
File View Project Test Tools Help 


[E: Mly Docunents Wi susl. Studio Proje 

| munitone E: Uy DocusentsWisual Studio 

2M test TrojectsUf/ni tOne\bin\Debug\NUni tÜne. 

B ME cacustorTest 

Sb testhdd 
M testDevide 
8 testDevide2 
2 testllinus 
@ tesuhtiphy 


Test Cases: 4 Tests Run: 4 Failures: 1 Ignored: 1 Skipped: 0 


[Categories | Tests 


st. testDevide 


> 


at NUnitOne.test.CalculatorTest.testDevide() in e:\my 
Idocuments\visual studio 
Iprojects\nunitone\test\calculatortest.cs:line 58 


Console. Out | Console. Error | Trace «|». 


Test Cases : 5 Tests Run Failures - 1 Time : 0.171875 


图 7-59 NUnit 布局 


在 图 7-59 中 ,左边 面板 显示 了 测试 项 目 结构 ,测试 运行 时 测试 项 目 和 测试 方法 前 面 会 
用 不 同 颜色 的 图 标 来 表示 测试 状态 : 壮 表 示 当 前 对 象 测试 失败 ; 鲁 表 示 测 试 通过 ; PR 
示 当 前 测试 被 忽略 。 右 边 面板 的 中 间 可 以 看 到 测试 进度 条 ,进度 条 的 颜色 反映 测试 项 目 执 
行 的 整体 状态 。 进 度 条 的 颜色 也 是 三 种 情况 : 
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* 绿色 : 描述 目前 所 执行 的 测试 都 通过 。 
。 黄色 : 意味 某 些 测试 忽略 ,但 是 没有 失败 。 
。 红色 : 表示 有 失败 。 
两 者 配合 共同 来 帮助 测试 者 确定 测试 运行 的 具体 情况 。 
界面 最 底部 的 状态 条 表示 下 面 的 状态 : 
。 状态 : 说 明了 现在 运行 测试 的 状态 。 当 所 有 测试 完成 时 ,状态 变 为 Completed。 运 行 
测试 中 ,状态 是 Running: 到 testname 二 (一 testname 二 是 正在 运行 的 测试 名 称 ) 。 
。 Test Cases 说 明 加 载 的 程序 集中 测试 案例 的 总 个 数 。 这 也 是 测试 树 里 叶子 节点 的 
个 数 。 
。 Tests Run 已 经 完成 的 测试 个 数 。 
。 Failures 到 目前 为 止 ,所 有 测试 中 失败 的 个 数 。 
* Time 显示 运行 测试 时 间 ( 以 秒 计 ) 。 
File 主 菜单 有 以 下 内 容 : 
* New Project; 允许 你 创建 一 个 新 工程 。 工 程 是 一 个 测试 程序 集 的 集合 。 这 种 机 制 
让 你 组 织 多 个 测试 程序 集 ,并 把 它们 作为 一 个 组 对 待 。 
* Open: 加 载 一 个 新 的 测试 程序 集 ,或 一 个 以 前 保存 的 NUnit 工程 文件 。 
Close: 关闭 现在 加 载 的 测试 程序 集 或 现在 加 载 的 NUnit 工程 。 
* Save: 保存 现在 的 Nunit 工程 到 一 个 文件 。 如 果 工 作 单 个 程序 集 ,本 菜单 项 允许 你 
创建 一 个 新 的 NUnit 工程 ,并 把 它 保存 在 文件 里 。 
Save As; 允许 你 将 现 有 NUnit 工程 作为 一 个 文件 保存 。 
Reload; 强制 重 载 现 有 测试 程序 集 或 NUnit 工程 。NUnit-Gui 自动 监测 现 加 载 的 
测试 程序 集 的 变化 。 当 程序 集 变化 时 ,测试 运行 器 重新 加 载 测试 程序 集 。 当 测试 正 
运行 时 ,现在 加 载 的 测试 程序 集 不 会 重新 加 载 。 在 测试 运行 之 间 测 试 程序 集 仅 可 以 
重新 加 载 。 要 注意 ,如 果 测 试 程 序 集 依 赖 另 外 一 个 程序 集 , 测 试 运行 器 不 会 观察 任 
何 依赖 的 程序 集 。 对 测试 运行 器 来 说 ,强制 一 个 重 载 使 全 部 依赖 的 程序 集 变 化 
可 见 。 
Recent Files; 说 明 5 个 最 近 在 NUnit 中 加 载 的 测试 程序 集 或 NUnit 工程 (这 个 列 
KE Windows 注册 表 , 由 每 个 用 户 维护 ,因此 如 果 你 共享 你 的 PC, 你 仅 可 以 看 到 你 
的 测试 )。 最 近 程 序 集 的 数量 可 以 使 用 Options 菜单 项 修改 ,可 以 访问 Tool € 
菜单 。 
* Exit; 退出 。 
现在 看 看 右边 ,你 已 经 熟悉 Run 按钮 和 进度 条 。 这 里 还 有 一 个 紧 跟 Run 按钮 的 Stop 
按钮 : 单 击 这 个 按钮 会 终止 执行 正 运行 的 测试 。 进 度 条 下 面 是 一 个 文本 窗口 ,在 它 下 方 有 
以 下 6 个 标签 : 
* Errors and Failures: 窗口 显示 失败 的 测试 。 在 我 们 的 例子 里 ,这 个 窗口 显示 失败 的 
测试 方法 和 具体 位 置 。 
Tests Not Run: 窗口 显示 没有 得 到 执行 的 测试 。 
Console. Out: 窗口 显示 运行 测试 打印 到 Console. Error 输出 流 的 文本 消息 。 
Console. Error: 窗口 显示 运行 测试 产生 的 错误 消息 。 这 些 消息 是 应 用 程序 代码 使 
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用 Console. Error 输出 流 可 以 输出 的 。 
* Trace: 跟踪 自 定义 变量 在 测试 运行 时 的 变化 。 
* Log: 测试 日 志 。 


7.4.8 断言 机 制 


Assert 断言 类 在 整个 测试 过 程 中 起 到 关键 作用 , 它 提 供 了 一 系列 的 静态 方法 ,让 你 可 
以 用 来 验证 被 测 程序 执行 结果 与 预期 是 否 一 样 。 如 果断 言 失败 ,测试 方法 会 报告 错误 ,但 没 
有 返回 值 。 

断言 类 的 静态 方法 共有 9 大 类 方法 ,其 中 Assert 类 的 静态 方法 有 6 大 类 , 共 22 个 方 
ik, NUnit 还 提供 了 一 些 专用 的 断言 方式 ,例如 ,用 于 字符 串 比较 的 StringAssert 类 ,有 4 
个 静态 方法 ; 用 于 集合 比较 的 CollectionAssert 类 ,有 13 个 方法 ; 用 于 文件 比较 的 
FileAssert 类 ,有 6 个 方法 。 

这 里 我 们 逐个 解释 这 些 静 态 断 言 方法 的 功能 ,详细 的 使 用 参数 请 参考 官方 网 站 提供 的 
文档 (http://www. nunit. org/index. php? p— classicModel&-r— 2. 4. 8). 


1. 相等 断言 (Equality Asserts) 


包含 AreEqual(expected,actual) 和 AreNotEqual (expected, actual) 两 个 方法 ,它们 用 
来 测试 两 个 参数 expected 和 actual 的 值 是 否 相 等 或 不 等 ,与 对 象 比较 中 使 用 的 Equals() 方 
法 类 似 。 这 两 个 方法 被 多 次 重 载 , 支 持 各 种 数据 类 型 的 比较 。 


2. 一 致 性 别 断 言 (ldentity Asserts) 


包含 3 个 方法 。 

AreSame() 和 AreNotSame( ) 方 法 ,用 来 比较 两 个 对 象 的 引用 是 否 相 等 或 不 等 ,类 似 于 
通过 “Is? 或 “一 一 "比较 两 个 对 象 。 

Contains() 方 法 ,用 来 查看 对 象 是 否 在 集合 中 ,集合 类 型 应 与 System. Collections. IList 
AUR. 


3. 条 件 断言 (Condition Asserts) 


包含 7 个 方法 。 

IsFalseO fil IsTrue( ) 方 法 ,用 来 查看 变量 是 否 为 false 或 true, 如 果 IsFalse() 查 看 的 变 
量 值 是 false 则 测试 成 功 , 如 果 是 true 则 失败 ,IsTrue() 与 之 相反 。 

IsNullO fil IsNotNull() 方 法 ,用 来 查看 对 象 是 否 为 空 或 不 为 空 。 

IsSNaN() 方 法 ,用 来 判断 指定 的 值 是 否 不 是 数字 。 

IsEmpty O fll IsSNotEmpty() 方 法 ,用 来 判断 字符 串 或 集合 是 否 为 空 串 或 没有 元 素 。 


4. 比较 断言 (Comparisons Asserts) 


包含 4 个 方法 。 
Greater fll GreaterOrEqual() 方 法 .用 来 比较 两 个 数值 的 大 小 ,前 者 相当 于 大 于 号 
CO ,后 者 相当 于 大 于 等 于 号 ( 盖 ) 。 
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LessO fll LessOrEqual() 方 法 ,用 来 比较 两 个 数值 的 大 小 ,前 者 相当 于 小 于 号 (所 ), 后 
者 相当 于 小 于 等 于 号 (二 )。 


5. 类 型 断言 (Type Asserts) 


包含 4 个 方法 。 

IsInstanceOfType() 和 IsNotInstanceOfType() 方 法 ,用 来 判断 对 象 是 否 兼 容 于 指定 
类 型 。 

IsAssignableFrom() 和 IsNotAssignableFrom() 方 法 ,用 来 判断 对 象 是 否 是 指定 类 型 的 
实例 。 


6. 公共 方法 (Utility Methods) 


包含 两 个 方法 。 

Fail() 方 法 ,直接 让 测试 失败 ,用 来 抛 出 错误 。 
Ignore() 方 法 , 意 为 忽略 ,用 来 忽略 后 续 代 码 的 执行 。 
这 两 个 方法 的 出 现 能 让 我 们 更 好 地 控制 测试 过 程 。 


7. 字符 串 断 言 类 (StringAssert) 


包含 5 个 方法 。 

StringAssert 是 NUnit 提供 的 一 个 专用 于 字符 串 断 言 的 静态 类 ,该 类 主要 包含 5 个 
方法 : 

Contains ) 方 法 ,用 来 查看 指定 的 第 二 个 字符 串 中 是 否 包含 了 第 一 个 字符 串 。 

StartsWith() 和 Ends With ) 方 法 ,分 别 用 来 查看 指定 的 第 一 个 字符 串 是 否 位 于 第 二 个 
字符 串 的 开头 和 结尾 。 

AreEquallgnoringCase() 方 法 ,用 来 比较 两 个 字符 串 是 否 相等 。 

IsMatch(string regexPattern, string actual) 方 法 ,用 来 检查 正则 表达 式 在 输入 字符 串 
中 是 否 能 找到 匹配 项 , 即 输 入 字符 串 是 否 匹 配给 定 的 正则 表达 式 。 如 果 找 到 匹配 项 , 则 返回 
true, 否 则 返回 false, 


8. 集合 断言 类 (CollectionAssert) 


包含 13 个 方法 。 

使 用 CollectionAssert 类 可 比较 对 象 集合 ,也 可 验证 一 个 或 多 个 集合 的 状态 ,主要 方法 
有 13 个 : 

AllItemsAreInstancesOfType() 方 法 ,断言 一 个 集合 中 的 每 一 项 都 属于 一 个 指定 的 
类 型 。 


AllltemsAreNotNull() 方 法 ,断言 集合 中 的 每 一 项 非 空 。 

AllltemsAreUnique() 方 法 ,断言 集合 中 的 每 一 项 都 是 唯一 的 。 

AreEqual() 和 AreNotEqual() 方 法 ,断言 两 个 集合 中 的 每 一 个 对 应 项 的 值 是 否 相 等 。 

AreEquivalent() 和 AreNotEquivalent() 方 法 .断言 两 个 集合 中 的 每 一 个 对 应 项 的 值 是 
否 相等 (但 是 第 一 个 集合 中 的 项 的 顺序 可 能 与 第 二 个 集合 中 的 项 的 顺序 不 匹配 ) 。 
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Contains() 和 DoesNotContain() 方 法 ,断言 一 个 集合 是 否 包含 一 个 指定 的 项 。 
IsSubsetOf O fl IsNotSubsetOf() 方 法 ,断言 一 个 集合 是 否 是 另 一 个 集合 的 子 集 。 
IsEmpty() 和 IsNotEmpty() 方 法 ,断言 集合 是 否 为 空 。 


9. 文件 断言 类 (FileAssert) 


包含 两 个 方法 。 
FileAssert 类 提供 AreEqual() 和 AreNotEqual() 两 个 方法 类 比较 两 个 文件 是 否 相 等 。 
文件 可 以 作为 Stream、FileInfo 和 文件 路 径 (String) 来 进行 操作 。 


7.4.4 NUnit 常用 属性 


.NET 的 元 数据 体系 是 . NET Framework 的 亮点 之 一 。 利 用 元 数据 可 以 对 程序 集 、 模 
块 . 类 型 方法、 成 员 等 进行 某 种 特性 描述 ,而 这 些 描 述 将 作为 元 数据 被 编译 到 程序 集中 ,并 
通过 .NET 运行 环境 为 其 调用 者 所 使 用 。 这 也 即 元 数据 扩展 。 属 性 (Attribute) 的 定义 和 使 
用 是 元 数据 扩展 的 主要 内 容 。 这 包括 对 . NET 标准 属性 的 使 用 和 自 定义 属性 。 

NUnit 框架 充分 利用 了 自 定 义 属性 的 特性 和 . NET 的 反射 机 制 。NUnit 在 运行 时 利用 
反射 机 制 运行 已 经 被 编译 成 程序 集 的 测试 (TestCase) 中 的 函数 。NUnit 框架 中 由 一 系列 的 
函数 来 完成 这 项 工作 ,这些 函数 只 负责 运行 测试 案例 程序 集中 特定 属性 标记 所 标记 的 函数 。 
如 : InvokeSetUp() 就 负责 运行 标记 有 SetUp 的 函数 ; InvokeTestCase() 负 责 运 行 标记 有 
Test 的 函数 , 即 测试 方法 ; InvokeTearDown() 负 责 运行 标记 有 TearDown 的 函数 。 然 后 
NUnit 利用 这 几 个 InvokeXXXO 〇 函数 的 调用 先后 来 保证 这 些 函 数 运行 的 先后 顺序 。 

表 7-5 中 列 出 了 NUnit 中 常用 的 属性 ,下 面 我 们 来 分 别 了 解 这 些 属性 的 含义 和 用 途 。 


表 7-5 NUnit 常用 属性 


属 性 用 03 
TestFixture 标识 测试 类 
Test 标识 测试 用 例 (TestCase) 
TestFixtureSetUp 标识 测试 类 初始 化 函数 
TestFixtureTearDown 标识 测试 类 资源 释放 函数 
SetUp 标识 测试 方法 初始 化 函数 
TearDown 标识 测试 方法 资源 释放 函数 
Ignore 标识 忽略 该 测试 方法 
ExpectedException 标识 该 测试 方法 所 期 望 抛 出 的 异常 
Explicit 标识 测试 方法 是 否 需 要 显 式 执行 
Category 标识 测试 方法 的 分 类 


1. TestFixture 标识 测试 类 


此 类 必须 为 public, 和 否则 NUnit 看 不 到 它 的 存在 ; 并 且 对 于 其 超 类 没有 任何 限制 。 此 
类 必须 有 个 默认 的 构造 函数 ,否则 NUnit 不 会 构造 ; 另外 ,NUnit 在 运行 时 会 多 次 构造 测试 
类 ,因此 构造 函数 不 能 有 其 他 副作用 。 

例如 : 
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using System; 
using NUnit. Framework; 
namespace NUnitOne. test 
t 
[TestFixture] 
public class CalculatorTest 
i 
Ms 
} 
} 


2. Test 标识 测试 方法 


Test 属性 标识 测试 类 的 某 个 方法 是 测试 方法 。 对 于 测试 方法 ,NUnit 明确 要 求 : 必须 
H public, 3& [f| void, 并 且 不 能 带 有 参数 。 另 外 ,NUnit 并 不 要 求 测试 方法 的 名 称 必 须 以 
test 开头 ,这 一 点 和 JUnit 是 不 一 样 的 。 

testAdd 方法 定义 如 下 : 


[Test] 
public void testAdd() 
{ 


) 


3. 初始 化 和 资源 释放 属性 


NUnit 提供 了 一 组 辅助 测试 类 和 测试 方法 运行 的 属性 标记 。Setup 标识 测试 方法 的 初 
始 化 函数 ; TearDown 标识 测试 方法 的 资源 释放 函数 ; TestFixtureSetup 标识 测试 类 的 初 
始 化 函数 ; TestFixtureTearDown 标识 测试 类 的 资源 释放 函数 。 

下 面 我 们 通过 NUnitOne 中 的 代码 来 说 明 它们 的 用 法 。 

项 目 NUnitOne 中 的 测试 类 CalculatorTest 代码 片段 如 下 : 


[Test] 
public void testAdd() 
t 
Calculator cal - new Calculator(); 
inta = 3; 
intb - 2; 
int result = cal.Add(3,2); 
int expected - 5; 
Assert. AreEqual(expected, result); 
} 
[Test] 
public void testMinus() 
{ 
Calculator cal = new Calculator(); 
inta = 3; 
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intb = 2; 

int result = cal.Minus(3,2); 

int expected 7 1; 

Assert. AreEqual(expected, result); 
} 


上 述 是 两 个 测试 方法 testAddO 和 testMinus() 的 代码 ,可 以 看 到 ,加 粗 显示 类 定义 代 
码 是 两 个 测试 方法 中 重复 的 部 分 ,并 且 都 是 来 完成 正常 测试 方法 执行 之 前 的 获取 资源 和 初 
始 化 的 工作 。 

我 们 可 以 提取 重复 代码 放 在 一 个 独立 的 方法 中 ,并 用 SetUp 标识 。 该 方法 在 每 个 测试 
方法 执行 之 前 都 会 执行 一 次 。 相 对 地 ,还 有 一 个 属性 标识 TeatDown, 它 标识 的 方法 会 在 每 
个 测试 方法 完成 之 后 执行 一 次 。 

这 时 又 产生 了 新 的 问题 : 如 果 项 目 很 大 ,每 个 测试 方法 都 需要 连接 数据 库 ,在 每 个 方法 
执行 的 时 候 进 行 连 接 再 释放 ,这 样 是 不 是 太 耗 资源 太 慢 了 ,能 不 能 在 一 个 单元 测试 类 实例 化 
的 时 候 就 运行 一 个 指定 的 方法 呢 ? 

这 是 可 以 的 。 在 NUnit 中 ,我 们 使 用 TestFixtureSetUp 和 TestFixtureTearDown 就 
可 以 实现 这 样 的 功能 。TestFixtureSetUp 是 指 在 这 个 测试 类 的 整个 生命 周期 中 , 它 在 所 有 
的 测试 方法 之 前 运行 一 次 ,而 TestFixtureTearDown 是 在 所 有 的 测试 方法 都 结束 时 运行 。 
这 里 要 注意 的 ,TestFixtureSetUp 与 类 的 构造 函数 是 不 一 样 的 , 它 标识 的 方法 迟 于 构造 函 
数 运行 。 

下 面 ,对 项 目 NUnitOne 的 测试 代码 进行 修改 ,测试 类 CalculatorTest 的 源 代码 如 下 : 


using System; 
using NUnit. Framework; 
namespace NUnitOne. test 
{ 
/// < summary» 
/// 测试 类 
/// </summary> 
[TestFixture] 
public class CalculatorTest 
i 
private Calculator cal; 
private int actual, expected; 


public CalculatorTest() 
{ 

Console. WriteLine( "执行 构造 函数 "); 
} 


[SetUp] 
public void InitMethods() 
{ 
cal = new Calculator(); 
Console. WriteLine( "执行 SetUp 方 法"); 
} 
[TearDown] 
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public void FinalizeMethods() 


{ 
Console. WriteLine( "执行 TearDown 方法 "); 
} 
[TestFixtureSetUp] 
public void InitClass() 
{ 
Console. WriteLine( "执行 TestFixtureSetUp 方法"); 
} 
[TestFixtureTearDown] 
public void FinalizeClass() 


{ 
Console. WriteLine(" 执 行 TestFixtureTearDown 方法 "); 


} 


[Test] 
public void testAdd() 
{ 
actual = cal.Add(3,2); 
expected - 5; 
Assert. AreEqual(expected, actual); 
) 


[Test] 
public void testMinus() 
l 
actual = cal.Minus(3,2); 
expected = 1; 
Assert. ÀreEqual( expected, actual); 
) 


[Test] 

public void testMultiphy() 

( 
actual = cal.Multiply(3,2); 
expected = 6; 
Assert. AreEqual(expected, actual); 


[Test] 

public void testDivide() 

{ 
actual = cal.Divide(3,2); 
expected = 1; 
Assert. AreEqual (expected, actual); 


j 


Setup, TearDown , TestFixtureSetup 和 TestFixtureTearDown 分 别 标识 了 InitMethods O , 
FinalizeMethodsO 、InitClass() 和 FinalizeClass O4 个 方法 ; 另外 ,本 例 中 还 定义 了 测试 类 的 
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初始 化 函数 CaleulatorTestO ,. ££ InitMethods() 方 法 中 执行 了 cal 类 的 实例 化 操作 ,消除 


了 每 个 测试 方法 中 的 重复 。 


为 了 能 看 到 这 4 个 属性 标识 方法 的 执行 顺序 ,在 上 述 代码 的 4 


个 对 应 方法 中 都 加 入 了 一 些 对 应 的 打印 语句 ,执行 测试 的 结果 如 图 7-60 所 示 , 和 我 们 预期 


的 执行 结果 是 一 致 的 。 


辆 mmnitone-dll - NUnit 


File View Project Test Tools Help 


I@ mmitone 
B test 
H @ caleulatorTest 
[av 
S testDivide 
@ testims 
8 testlultiphy 


Gi 
5 
Hi 
kl 

Š 


:ly Docunents Wi susl. Studio Proje 


P E:\My DocunentsWisual Studio 
Projects\WUni tOne\bin\Debug\NUni tOne. 


Test Cases: 4 Tests Run: 4 Failures: O Ignored: O Skipped: 0 


Errors and Failures | Tests Not Run | Console. Out | Console. Error | Trace ET] Li 


Test Cases : 4 Tests Run : 4 Failures ; 0 Time : 0.046875 


7-60 初始 化 /释放 资源 方法 执行 结果 


4. ExpectedException 标识 该 测试 方法 期 望 抛 出 异常 


ExpectedException 属性 标识 用 来 解决 测试 方法 抛 出 异常 的 问题 。 例 如 ,我 们 都 知道 的 
在 Calculator 类 中 除法 运算 不 允许 除数 为 零 ,在 程序 的 处 理 过 程 中 , 遇 到 除数 为 零 的 情况 就 
会 自动 抛 出 异常 。 那 么 对 于 这 类 问题 的 测试 我 们 利用 ExpectedException 属性 来 完成 。 


例如 ,我 们 设计 测试 用 例 (3,0) 对 除法 Divide() 进 行 除数 为 零 情 况 的 测试 ,具体 测试 方 
法 testDivide2() 的 代码 如 下 。 


[Test] 
[ExpectedException(typeof 
public void testDivide2() 
t 


(DivideByZeroException))] 


Calculator cal = new Calculator(); 


int result = cal. Divi 
} 


de(3,0); 


测试 方法 名 称 为 testDivide2. 当 调 用 cal. Divide (3.0) 时 ,系统 会 自动 抛 出 System. 
DivideByZeroException 类 型 的 异常 。 该 方法 的 属性 标识 除了 Test. 以 外 ,还 有 ExpectedException。 
如 果 没 有 ExpectedException 属性 的 话 ,运行 测试 NUnit 会 提示 失败 ,如 图 7-61 所 示 。 
ExpectedException 可 以 在 程序 执行 过 程 中 捕获 期 望 的 异常 类 型 ,例如 在 本 例 中 就 是 
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辆 amnitone-dll - NUnit 
File Vier Project Test Tools Help 
E: Wy Docuvents Wisual Studio Proje 
testDivide2 


BK CalculatorTest 


Bun p 
FR HEEIEBDBBEBEBBHEBBEBEEHEDBUI 
* ivi de E 3 
"ETTS Test Cases: 5 Tests Run: 5 Failures: 1 Ignored: O Skipped: 0 
S testllinas 
8 testlmltiphy 


[Categories | Tests 


< 


at NUnitOne.Calculator.Divide(Int32 a, Int32 b) in 
le: Way documents visual studio 

projects Wnunitonelcalculator.cs:line 24 

ar NUnitOne.test.CalculatorTest.testDivide2() in 
le: Way documents visual studio 

projects VnunitoneVtestVcalculatortest.cs;line 69 


Errors and Failures [Tests Not Run | Console.Out | Console. Error | Trace «|» 


Test Cases : 1 
7-61 抛 出 DivideByZeroException 异常 的 测试 方法 


ExpectedException 属性 有 两 种 重 载 方式 ,第 一 种 参数 是 一 个 Type, 这 个 Type 是 期 望 
异常 的 精确 类 型 ,本 例 中 ExpectedException 的 参数 typeof CDivideByZeroException) 就 是 
这 一 种 。 第 二 种 是 一 个 期 望 的 异常 全 名 的 字符 串 ,如 果 在 testDivide2() 方 法 中 应 用 这 种 形 
式 的 话 ,ExpectedException 属性 应 该 写成 如 下 形式 : 


[ExpectedException("System. DivideByZeroException")] 


在 执行 测试 时 ,如 果 testDivide20 〇 方法 抛 出 了 指定 的 异常 ,那么 测试 通过 ; 如 果 抛 出 一 
个 不 同 的 异常 或 没有 抛 出 异常 ,测试 就 失败 ; 如 果 抛 出 了 一 个 由 期 望 异常 继承 而 来 的 异常 ， 
这 也 是 成 功 的 。 


使 用 这 个 属性 可 以 帮助 我 们 检验 程序 边界 条 件 (Boundary Conditions)。 
5. Ignore 标识 忽略 测试 方法 


Ignore 属性 标识 的 作用 是 临时 忽略 对 应 的 测试 方法 或 测试 类 。 由 于 种 种 原因 ,有 一 些 
测试 我 们 不 想 运行 。 当 然 , 这 些 原因 可 能 包括 你 认为 这 个 测试 还 没有 完成 ,这 个 测试 正在 重 
构 之 中 ,这 个 测试 的 需求 不 是 太 明 确 等 。 但 我 们 为 了 保持 程序 结构 ,又 不 想 破坏 测试 ,否则 
就 会 出 现 红色 进度 条 。 使 用 Ignore 属性 既 可 以 保持 测试 ,又 不 运行 它们 。 比 起 注释 掉 测 试 
或 重 命名 方法 ,Ignore 属性 标识 是 一 个 比较 好 的 机 制 ,因为 测试 会 和 余下 的 代码 一 起 编译 ， 
而 且 在 运行 时 有 一 个 不 会 运行 测试 的 标记 一 一 黄色 进度 条 ,这 样 有 效 地 保证 了 测试 程序 结 
构 的 完整 性 ,避免 了 遗忘 某 些 测试 。 

Ignore 属性 在 使 用 时 也 可 以 加 上 参数 来 说 明 忽略 测试 的 原因 ,就 像 这样 ; 
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[Ignore(" 忽 略 原因 字符 串 ")] ， 


需要 注意 的 是 , 当 某 些 测试 方法 或 测试 类 被 忽略 时 ,NUnit 的 测试 进度 条 呈现 黄色 。 例 
如 ,我 们 在 testMinus() 和 testMultiphy() 方 法 前 面 加 上 Ignore 属性 ,具体 代码 如 下 。 


[Test] 
[Ignore] 
public void testMinus() 
{ 
Calculator cal = new Calculator(); 
inta = 3; 
intb = 2; 
int result = cal.Minus(3,2); 
int expected = 1; 
Assert. AreEqual (expected, result); 
j 
[Test] 
[Ignore("testMultiphy is ignored!")] 
public void testMultiphy() 
$ 
Calculator cal = new Calculator(); 
inta = 3; 
intb = 2; 
int result = cal.Multiply(3,2); 
int expected = 6; 
Assert. AreEqual (expected, result); 


testMinus() 方 法 添加 了 Ignore 属性 ,而 testMultiphy() 方 法 添加 的 Ignore 属性 增加 了 
参数 "testMultiphy is ignored!" ,运行 测试 的 结果 如 图 7-62 所 示 , 从 图 中 可 以 看 到 ,测试 类 
CalculatorTest 中 包含 5 个 测试 ,其 中 3 个 测试 方法 运行 成 功 ,两 个 测试 方法 被 忽略 ,虽然 没 
有 方法 出 错 , 但 进度 条 也 没有 显示 绿色 ,而 是 显示 黄色 。 这 是 在 提醒 程序 员 有 些 测 试 方法 被 
忽略 了 。NUnit 界面 右 下 侧 的 Tests Not Run 对 话 框 中 显示 了 带 有 Ignore 属性 的 两 个 没有 
运行 的 测试 方法 ,其 中 的 NUnitOne. test. CalculatorTest. testMultiphy 下 面 显示 了 测试 没 
有 运行 的 原因 ,也 就 是 我 们 在 Ignore 属性 标识 中 加 入 的 忽略 原因 字符 串 。 


6. Explicit 标识 测试 方法 是 否 需要 显 式 执行 


Explicit 属性 与 Ignore 属性 类 似 ,都 是 用 来 忽略 测试 类 或 测试 方法 。 两 者 之 间 主 要 有 
两 点 差异 : 

第 一 ,标识 对 象 灰 色 显 示 , 进 度 条 不 会 出 现 黄色 。 如 果 测 试 代码 中 存在 Explicit 属性 ， 
NUnit 界面 中 的 Explicit 属性 标识 的 方法 名 会 呈现 灰色 显示 ,测试 项 目 执行 时 ,Explicit f 
性 标识 的 方法 没有 被 执行 ,进度 条 不 会 呈现 黄色 ,而 是 根据 其 他 测试 方法 执行 的 结果 呈现 绿 
色 或 红色 。 

例如 ,我 们 给 testDivide() 方 法 加 上 Explicit 属性 ,为 了 清晰 显示 具体 执行 效果 ,应 该 删 
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HUnitOne.dll — NUnit DEK 
ile Viev Project Test Tools Help 


= 


[E: Mty Documents\Visual Studio Proje 
9 WnitOne F3 E: My DocunentsiVisusl Studio 
B9 test Projects\NUni tOne\bin\Debug\NUni tOne. 
日 CalculatorTest 
@ testàdd 
@ testDivide 
S testDivide2 
9 testllinus 
9 tesuhultiphy 


Test Cases: 3 Tests Run: 3 Failures: O Ignored: 2 Skipped: 0 


[Categories| Tests 9 


E NUnitDne test. CelculatorTest, testlultiphy 
Reason: testllultiphy is ignored! 


Errors end Failures Tests Not Run [Console Out | Console. Error | Trace a|» 


Test Cases : 5 Tests Run : 3 Failures : 0 Time : 0.125 


7-62 Ignore 属性 标识 的 测试 方法 运行 结果 


除 testMinus() 和 testMultiphy() 方 法 前 面 加 上 的 Ignore 属性 标识 。 具 体 代 码 如 下 : 


[Test] 

[Explicit] 

public void testDivide() 

( 
Calculator cal = new Calculator(); 
inta = 3; 
intb = 2; 


int result = cal.Divide(3,2); 
int expected = 1; 
Assert. AreEqual(expected, result); 


运行 结果 如 图 7-63 所 示 ,testDivide() 方 法 名 呈 灰 色 显示 ,其 他 4 个 方法 执行 成 功 , 进 
度 条 是 绿色 。 大 家 还 要 注意 的 是 , 右 侧 栏 中 显示 的 Test Case: 4 Tests Run: 4 Failure: 0 
Ignored; 0 … 这 一 行 信息 。 可 以 看 出 NUnit 没有 把 testDivide() 方 法 当成 CalculatorTest 
类 中 的 测试 方法 ,就 好 像 它 不 存在 一 样 。 

第 二 ,可 以 显 式 执行 。 当 我 们 单独 选 定 Explicit 属性 标识 的 测试 类 或 方法 进行 显 式 运 
行 时 ,标识 对 象 会 运行 ,进度 条 呈现 绿色 或 红色 状态 ; Ignore 属性 标识 的 类 或 方法 是 不 能 显 
式 执行 的 。 

在 NUnit 界面 中 ,我 们 选中 testDivide() 方 法 名 , 单 击 Run 按钮 ,执行 结果 如 图 7-64 所 
示 , 可 以 看 到 testDivide() 方 法 被 显 式 地 执行 了 。 

Explicit 属性 标识 常用 于 多 个 测试 方法 或 测试 类 相关 联 的 测试 情况 , 某 些 测试 方法 可 
能 会 延 后 执行 ,或 者 测试 方法 间 要 求 不 同 的 执行 顺序 。 
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ES UnitOne.dll - NUnit 
File View Project Test Tools 


MnitOne 
test 
B @ CalculatorTest 
[av 


S testDivide2 
8b testhinus 
8 testlhltiphy 


[Categories| Tests 


图 7-63 


Ef UnitOne.dll - NUnit 
File Vier Project Test Tools 


Nini tÜne 


BG cueulatorTest 
testAdd 
b testDivide 
testDivide2 
testllinus 
testllultiphy 


TD 


[E: My Docunents Wisual Studio Proje 


Help 


E:Mly Documents\Visual Studio 
Projects\NUni tOne\bin\Debug\NUni tOne. 


Failures: 0 Ignored: 0 


EH 


Test Cases: 4 Tests Run: 4 Skipped: 0 


Errors and Failures (T. Eus | Consele. Out | Console. Error | Trace. «|» 


Test Cases : 4 Tests Run : 4 Failures : 0 Time : 0.09375 


给 testDivide() 方 法 增加 Explicit 属性 运行 结果 


Help 


E: My Docunents Wisual Studio Proje 


E: ly DocunentsWi susl. Studio 
Projects Uflni tOne\bin\Debug\NUni tOne. 


Failures: O Ignored: O Skipped: 0 


Test Cases: 1 Tests Run: 1 


s||Tests Not Run | Console. Out | Console. Error | Trace 4)» 


Test Cases : 1 Tests Run : 1 Failures - 0 Time : 0.046875 


图 7-64 显 式 执行 testDivide() 


7. Category 标识 测试 方法 的 分 类 


Categore 属性 用 来 对 标识 的 测试 方法 进行 分 类 ,我 们 可 以 为 每 个 测试 方法 定义 类 别 , 让 它 
Categore 属性 带 有 一 个 类 别名 称 参 数 name, 具 体 写法 是 : Categore("name" ) 。 


们 分 类 执行 。 


P 
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下 面 ,我 们 把 CalculatorTest 测试 类 中 的 测试 方法 分 成 两 类 One 和 Two, RERE 


如 下 : 


[TestFixture] 
public class CalculatorTest 


{ 


[Test] 


[Category("One")] 
public void testAdd() 


( 


Calculator cal = new Calculator(); 
inta 7 3; 

intb = 2; 

int result = cal.Add(3,2); 

int expected = 5; 

Assert. AreEqual(expected, result); 


) 


Test 


{ 


} 
Test 


{ 


) 
Test 


{ 


} 
Test 


[Category("One")] 


public void testMinus() 


[Category("Two")] 


public void testMultiphy() 


[Category("Two")] 


public void testDivide() 


[Category("Two")] 


ExpectedException(typeof(DivideByZeroException))] 


public void testDivide2() 


| 


Calculator cal = new Calculator(); 
int result = cal.Divide(3,0); 


¥ 


在 代码 中 ,我 们 把 testAdd() 和 testMinus() 方 法 归 入 One 类 ,把 testMultiphy()、 
testDivide() 和 testDivide() 归 入 Two 类 。 

打开 NUnit 界面 加 载 CalculatorTest 测试 类 后 ,在 左边 框 上 有 两 个 页 面 标签 , 单 击 
Categories 标签 ,打开 如 图 7-65 页 面 。 页 面 中 的 Available Categories 编辑 框 中 显示 了 当前 
可 用 的 类 别 目录 One 和 Two, 下 面 的 Selected Categories 编辑 框 显 式 被 选中 需要 执行 的 类 
别 。 通 过 中 间 的 Add 和 Remove 按钮 可 以 使 类 别 目录 在 两 个 编辑 框 中 切换 。 

图 7-66 中 显示 我 们 选中 One 类 , 单 击 Add 按钮 ,把 One 类 移 至 Selected Categories 编 
辑 框 , 单 击 Run 按钮 ,进度 条 显示 绿色 ,表明 One 类 中 的 两 个 测试 方法 testAdd() 和 
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ES HUnitOne. dll - NUnit 
File View Project Test Tools Help 


Available Categories 
E:\My DocumentsWisual Studio 
Projects\WUni tOne\bin\Debug\NUni tOne. 


Test Cases: O Tests Run: O Failures: O Ignored: O Skipped: 0 


E 

E 
? 
š 

$ 


Add Remove 


Selected Categories 


Tests Not Run Console. Out | Console. Error | Trace | Loe | 


Test Cases : 0 Tests Run : 0 Failures : 0 Time : 0 


图 7-65 分 类 目录 标签 页 


ES NUnitOne.dll - NUnit 
File View Project Test Tools Help 


y Available Categories 
m im te ai Oe 
HRHHESEHBEBSEBHEHEUSESEBI 


Test Cases: 2 Tests Run: 2 Failures: O Ignored: O Skipped: 0 


| Categories Tests 


Add Remove 


Selected Categories 
one 


[^ Exclude these categories 


0 


Completed Test Cases : 2 Tests Run : 2 Failures : 


图 7-66  Categore 属性 运行 界面 


testMinus() 运 行 成 功 。 
至 此 ,我 们 详细 介绍 了 NUnit 10 个 常见 属性 标识 的 用 法 ,这 些 属性 相互 配合 能 够 帮助 
大 家 实现 各 种 测试 需求 ,大 家 可 以 在 实际 使 用 过 程 中 逐步 熟悉 和 掌握 。 最 后 需要 说 明 的 是 ， 
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当 一 个 测试 方法 被 添加 多 个 属性 标识 的 时 候 , 可 以 把 这 些 属性 合并 编写 ,例如 : 


[Test] 
[Category(" Two" )] 
[ExpectedException(typeof(DivideByZeroException))] 
public void testDivide2() 
{ 

Calculator cal = new Calculator(); 

int result = cal.Divide(3,0); 
l 


也 可 以 写成 ， 


[Test, Category(" Two" ) ] 
[ExpectedException(typeof(DivideByZeroException))] 
public void testDivide2() 
{ 

Calculator cal = new Calculator(); 

int result = cal.Divide(3,0); 


I 
甚至 可 以 把 3 个 属性 都 写 在 一 起 ,这 里 就 不 再 袭 述 。 


本 章 从 实际 应 用 的 角度 出 发 ,围绕 单元 测试 方案 ,从 对 象 流程、 构建 的 角度 展开 叙述 ， 
同时 结合 当前 的 实际 情况 介绍 了 比较 典型 的 单元 测试 工具 。PC-Lint 是 C/C++ 软件 代码 静 
态 分 析 工 具 ,XUnit 框架 是 动态 单元 测试 工具 。 考 虑 到 编程 环境 的 差别 ,我 们 分 别 介绍 了 
Java 环境 的 JUnit 和 . NET 环境 的 NUnit。 在 动态 单元 测试 的 讲解 过 程 中 ,我 们 结合 实际 
应 用 需求 ,讲解 了 几 个 典型 的 能 够 改善 代码 质量 的 Eclipse 插件 的 用 法 ,使 读者 能 够 拓宽 知 
识 面 ,增强 综合 测试 的 能 力 。 


习题 
1. 如 何 构建 自动 化 单元 测试 环境 ? 
2. 请 自行 寻找 合适 的 C\C++ 程 序 ,利用 PC-Link 进行 代码 分 析 检 查 。 
3. 请 为 “三 角形 类 型 判断 ”问题 编写 相应 代码 ,分 别 利用 JUnit 和 NUnit 完成 代码 的 


4. 请 为 “ 求 第 二 天 的 日 期 "问题 编写 相应 代码 ,分 别 利用 JUnit 和 NUnit 完成 代码 的 


5. 请 在 互联 网 查找 Eclipse 插件 的 资料 ,总 结 与 测试 相关 的 Eclipse 插件 的 内 容 。 


PATRIE ESAE: 
功能 测试 实施 | 


本 章 主要 介绍 自动 化 功能 测试 的 解决 方案 以 及 功能 测试 工具 WinRunner 的 基本 知识 
和 实例 应 用 。 读 者 要 通过 测试 案例 的 讲解 ,系统 掌握 功能 测试 的 思路 方法 与 技术 ,培养 测 
试 实践 能 力 。 

本 章 要 点 : 

。 自动 化 功能 测试 的 实施 。 

。 使 用 WinRunner 进行 功能 测试 。 


(6.1 功能 测试 解决 方案 
— 


8.1.1. 功能 测试 概述 


功能 测试 也 叫 黑 盒 测试 或 数据 驱动 测试 ,功能 测试 只 需 考 虑 各 个 程序 模块 的 功能 ,不 需 
要 考虑 模块 的 内 部 结构 及 代码 。 一 般 从 软件 产品 的 界面 ,架构 出 发 ,输入 预先 设计 好 的 测试 
用 例 , 在 预期 结果 和 实际 结果 之 间 进 行 评测 ,检查 软件 产品 是 否 达 到 用 户 要 求 或 设计 的 功 
能 。 功 能 测试 (Functional Testing) 也 称 为 行为 测试 (Behavioral Testing), 它 根据 产品 特 
征 、 操 作 描述 和 用 户 方案 来 测试 软件 产品 的 特性 和 可 操作 行为 ,以 确定 它们 是 否 满足 设计 需 
求 。 本 地 化 软件 的 功能 测试 ,用 于 验证 应 用 程序 或 网 站 对 目标 用 户 能 否 正确 工作 。 

功能 测试 可 以 手工 测试 ,也 可 以 进行 自动 化 测试 。 在 手工 测试 的 过 程 中 ,避免 不 了 重复 
执行 同一 个 测试 用 例 的 情况 。 而 这 些 重复 执行 的 过 程 如 果 可 以 用 自动 执行 工具 代劳 ,可 以 
避免 测试 人 员 反 复 执行 同一 用 例 时 产生 的 疲劳 感 ,导致 用 例 执 行 不 完整 ,也 可 以 节约 测试 时 
间 。 所 以 利用 测试 工具 实施 自动 化 功能 测试 是 提高 测试 效率 的 有 效 办 法 。 因 此 ,软件 系统 
的 功能 测试 应 采取 手工 测试 和 自动 测试 相 结合 的 方法 ,充分 利用 各 自 的 长 处 ,从 而 达到 最 佳 
的 测试 效果 。 


8.1.2 实施 自动 化 功能 测试 


通过 实施 自动 化 的 功能 测试 ,可 以 极 大 提高 测试 速度 和 精度 ,从 软件 项 目 中 得 到 更 高 的 
投资 回报 并 且 显 著 地 降低 风险 。 这 里 简要 描述 自动 化 功能 测试 的 优势 和 挑战 ,为 软件 企业 
实施 最 佳 测试 自动 化 提供 参考 。 
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1. 自动 化 功能 测试 准备 


毫 无 疑问 ,严格 的 功能 测试 是 成 功 开发 应 用 的 关键 。 开 发 人 员 ,测试 小 组 和 管理 人 员 都 
需要 去 考虑 在 不 增加 预算 的 基础 上 如 何 加 速 测试 流程 和 提高 测试 的 精确 性 和 完备 性 。 通 过 
将 功能 测试 的 关键 环节 自动 化 ,可 以 使 测试 变 得 更 加 全 面 和 可 靠 。 然 而 ,功能 测试 的 自动 化 
会 产生 一 些 新 的 问题 ; 

测试 过 程 自动 化 的 成 本 是 多 少 ? 投资 回报 率 (Return On Investment,ROD 是 什么 ? 

哪些 应 用 /过 程 适合 做 自动 化 测试 ,哪些 不 合适 ? 

是 否 需要 新 的 培训 ,这 将 对 当前 的 开发 计划 安排 产生 怎样 的 影响 ? 

自动 化 测试 的 正确 的 方法 论 是 什么 ? 

自动 化 测试 时 涉及 哪些 情况 ? 

当 比 较 自 动 化 测试 产品 时 ,哪些 功能 最 重要 ? 

在 自动 化 功能 测试 开始 之 前 ,以 上 这 些 问 题 应 该 得 到 全 面 的 调查 和 了 解 。 


2. 功能 测试 与 单元 测试 


功能 测试 是 指 确保 应 用 按期 望 运行 ,也 就 是 按照 用 户 的 期 望 运行 。 功 能 测试 以 一 种 有 
效 的 方式 捕获 用 户 的 需求 ,让 用 户 和 开发 人 员 对 业务 过 程 满足 需求 充满 信心 ,同时 使 得 QA 
(Quality Assurance) 团 队 可 以 检验 软件 已 发 布 就 绪 。 

功能 测试 是 单元 测试 的 补充 ,但 有 很 大 不 同 。 简 而 言 之 ,单元 测试 说 明了 代码 执行 是 否 
正确 ; 功能 测试 说 明了 完成 的 应 用 是 否 做 正确 的 事情 。 单 元 测试 往往 是 从 代码 开发 人 员 的 
角度 来 看 ,而 功能 测试 是 从 最 终 用 户 和 业务 过 程 角度 来 看 。 


3. 手工 功能 测试 的 问题 


时 间 过 长 。 有 限 的 资源 和 时 间 使 得 手工 测试 对 于 满足 业务 目标 来 说 过 于 耗 时 。 采 用 手 
工 测 试 ,测试 和 开发 人 员 不 得 不 详细 计划 每 步 测试 过 程 ,然后 手工 执行 ,再 现 问 题 , 快 速 消耗 
了 有 价值 的 时 间 和 资源 。 据 不 完全 统计 ,90%% 的 IT 项 目 交 付出 现 过 延迟 ,手工 测试 是 其 中 
一 个 因素 。 

覆盖 不 完全 。 平 台 、 操 作 系统 、 客 户 端 设 备 . 业 务 过 程 和 数据 集 等 的 组 合 对 于 手工 测试 
过 程 来 说 ,工作 量 非 常 大 ,需要 验证 功能 的 测试 用 例 数量 非常 巨大 。 所 以 当 修 改 完 成 后 手工 
回归 测试 花费 的 时 间 更 长 ,以 至 于 不 能 进行 全 面 的 回归 测试 。 

风险 更 高 。 手 工 测 试 过 程 比 计算 机 过 程 的 错误 和 玻 忽 更 多 。 人 们 会 因 大 量 重复 测试 而 
变 得 疲倦 ,没有 足够 多 的 时 间 测 试 所 有 应 该 测试 的 内 容 。 


4. 自动 化 测试 的 优势 


快速 执行 。 计 算 机 在 执行 功能 测试 脚本 的 时 候 比 人 快 得 多 ,因此 在 有 限 的 时 间 里 能 测 
试 更 多 的 内 容 。 

提高 测试 覆盖 。 自 动 测试 工具 能 够 在 多 数 流 行 的 浏览 器 .操作 系统 上 执行 测试 脚本 ,用 
自动 化 工具 对 不 断 变 化 的 应 用 和 环境 做 回归 测试 ,要 比 手工 测试 容易 得 多 。 自 动 化 工具 的 
数据 驱动 表单 功能 ,允许 开发 和 测试 团队 操纵 数据 集 , 快 速 创 建 多 种 反复 的 测试 ,扩展 了 测 
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试 的 覆盖 范围 。 

提高 测试 精确 度 ,尽早 发 现 更 多 错误 。 自 动 化 测试 给 开发 人 员 提 供 了 一 种 再 现 和 记录 
软件 缺陷 的 简易 方法 。 这 将 确保 数据 集 和 业务 过 程 功能 的 正确 性 ,同时 还 能 对 开发 过 程 起 
到 加 速 作用 。 

提供 规范 化 的 过 程 。 自 动 化 测试 鼓励 测试 过 程 规范 化 ,以 得 到 更 高 的 一 致 性 和 更 完整 
的 文档 记录 。 

提高 测试 的 重用 性 。 测 试 脚本 一 旦 完成 ,开发 人 员 就 可 以 重复 使 用 这 些 脚 本 ,还 可 以 将 
脚本 添加 到 测试 套件 中 ,以 适应 应 用 的 变化 。 这 样 也 就 没有 必要 为 软件 中 的 相同 功能 模块 
重新 创建 脚本 。 


5. 自动 化 测试 的 适用 范围 


一 般 来 说 ,把 自动 化 测试 的 工作 集中 在 关键 的 业务 过 程 和 复杂 应 用 是 很 有 意义 的 。 是 
否决 定 实行 自动 化 测试 应 当 充分 考虑 到 投资 回报 ,但 在 有 些 人 工 测试 无 法 进行 的 情况 下 , 即 
使 花费 较 大 ,自动 化 测试 也 是 值得 采用 的 。 另 外 ,如 果 涉 及 重复 性 的 工作 ,例如 数据 装载 和 
系统 配置 等 ,自动 化 测试 当然 也 会 节约 成 本 。 


6. 自动 化 测试 工具 的 选择 


每 个 自动 化 测试 解决 方案 都 有 自身 的 优势 和 劣势 .独特 的 功能 和 市 场 定位 。 软 件 企业 
会 根据 自身 项 目 需求 去 选择 最 适合 的 一 种 。 一 般 来 说 ,自动 化 测试 工具 都 应 当 包 含 如 下 一 
些 关 键 性 能 : 

友好 的 交互 界面 。 自 动 化 测试 工具 应 该 提供 灵活 友好 的 可 单 击 界面 ,能 在 测试 时 与 应 
用 组 件 进 行 交互 一 一 而 不 是 呈现 出 一 行 行 的 脚本 。 测 试 者 应 该 可 以 监控 和 编辑 每 一 步 的 测 
试 过 程 。 这 将 使 测试 者 能 够 快速 掌握 工具 的 用 法 ,并 帮助 测试 团队 缩短 测试 周期 。 

集成 的 数据 表 。 自 动 化 功能 测试 的 一 个 关键 好 处 就 是 可 以 针对 系统 快速 产生 大 量 数 
据 。 还 有 一 个 重要 的 功能 就 是 操作 数据 集 , 执 行 计算 ,并 以 最 小 的 代价 快速 创建 大 量 的 重复 
测试 和 组 合 。 我 们 应 该 寻找 能 够 提供 强大 计算 能 力 , 并 且 集 成 电子 数据 表单 的 工具 。 

清晰 明确 的 报告 。 如 果 测 试 结果 不 容易 理解 或 解释 ,那么 即使 测试 工具 的 性 能 再 优越 
也 没有 什么 意义 。 测 试 产品 应 当 能 够 自动 产生 并 显示 所 有 测试 运行 方面 的 报告 和 简单 易 读 
的 结果 解释 。 报 告 应 当 提供 的 细节 包括 : 什么 地 方 发 生 了 失败 和 使 用 了 什么 样 的 测试 数 
据 ; 为 每 一 个 测试 步骤 提供 高 亮 或 有 差别 的 屏幕 显示 ; 提供 每 个 检查 点 通过 和 失败 的 详细 
解释 ; 当然 ,还 应 当 在 测试 和 开发 团队 之 间 共 享 报告 。 


7. 自动 化 测试 成 功 的 5 个 关键 因素 


测试 的 自动 化 能 够 带 来 诸多 好 处 ,但 如 何 保证 自动 化 测试 的 成 功 实 施 依然 是 软件 企业 
要 面 对 的 难题 。 这 里 给 出 了 实施 自动 化 测试 过 程 的 5 个 关键 因素 : 

1) 完善 的 测试 计划 

理解 被 测 软件 的 目标 是 测试 成 功 的 基础 ,在 测试 执行 前 我 们 应 力求 编制 一 个 全 面 的 测 
试 计划 ,以 确保 测试 需求 被 正确 地 实施 。 测 试 工具 不 仅 要 具备 管理 测试 用 例 的 能 力 , 还 应 具 
备 管理 测试 需求 的 能 力 。 
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2) 明确 自动 测试 用 例 

自动 执行 测试 计划 安排 的 所 有 测试 内 容 是 不 可 能 的 ,自动 化 功能 测试 应 该 集中 在 复杂 
应 用 和 紧迫 的 业务 过 程 上 。 许 多 测试 项 目 中 的 自动 化 测试 只 占 总 测试 用 例 的 60 26 ,而 余下 
的 40% 为 手工 测试 。 

3) 功能 强大 的 自动 化 工具 

测试 工具 极 大 简化 了 设计 测试 数据 和 脚本 的 过 程 ,这 使 得 我 们 可 以 更 多 地 关注 测试 效 
率 和 测试 覆盖 率 。 使 用 测试 工具 ,测试 者 创建 测试 甚至 可 以 不 必 编 写 任何 脚本 ,测试 工具 应 
能 自动 捕获 目标 程序 的 业务 过 程 ,并 允许 使 用 者 管理 测试 流程 。 

4) 提高 测试 覆盖 率 的 数据 驱动 测试 

数据 驱动 测试 是 以 数据 来 控制 自动 化 测试 的 流程 和 动作 的 测试 ,这 些 数 据 是 独立 于 脚 
本 的 , 它 来 源 于 一 个 预定 义 的 数据 集 ( 或 数据 池 ) ,txt 文件 ,Excel 文件 或 XML 文件 都 可 以 。 
测试 人 员 只 需 维护 好 数据 文件 即 可 ,减少 了 很 多 修改 脚本 的 麻烦 。 数 据 驱动 测试 技术 在 自 
动 化 测试 领域 有 着 非常 重要 的 地 位 ,我 们 可 以 通过 它 来 实现 更 加 高 效 和 准确 的 测试 运行 。 

当 你 通过 数据 来 驱动 一 个 测试 脚本 时 ,脚本 将 使 用 变量 作为 应 用 的 关键 输入 。 通 过 使 
用 变量 ,脚本 能 够 使 用 来 自 外 部 的 数据 代替 应 用 测试 中 的 文字 值 。 数 据 驱 动 测试 使 用 来 自 
数据 池 的 数据 作为 测试 的 输入 。 一 个 数据 池 是 相关 数据 记录 的 集合 ,在 脚本 回放 时 数据 池 
能 够 为 测试 脚本 提供 实际 的 测试 数据 。 

5) 设 定 测试 标准 

自动 化 测试 过 程 中 需要 给 测试 指定 明确 的 “通过 或 失败 标准 。 这 包括 了 应 用 的 前 端 ， 
中 间 层 ,或 后 端 数据 库 的 验证 。 

实现 功能 测试 的 自动 化 ,使 得 企业 可 以 将 工作 重点 放 在 改进 自动 业务 过 程 方面 ,同时 ， 
开发 团队 和 QA 团队 可 以 增加 测试 过 程 的 速度 和 精确 度 。 整 个 软件 企业 可 以 获得 更 高 的 投 
资 回报 ,而且 大 大 降低 了 风险 。 


8.1.3 网 站 功能 测试 


网 站 有 别 于 一 般 的 应 用 软件 ,在 进行 网 站 的 功能 测试 时 应 着 重 从 以 下 方面 来 考虑 。 

CD 页 面 链接 检查 : 每 一 个 链接 是 否 都 有 对 应 的 页 面 , 并 且 页 面 之 间 切 换 是 否 正确 。 

(20 相关 性 检查 : 删除 /增加 一 项 会 不 会 对 其 他 项 产生 影响 ,如 果 产 生 影响 ,这 些 影 响 
是 否 都 正确 。 

(3) 检查 按钮 的 功能 是 否 正 确 : 如 update, cancel, delete, save 等 功能 是 否 正确 。 

(4) 字符 串 长 度 检查 : 输入 超出 需求 所 说 明 的 字符 串 长 度 的 内 容 , 看 系统 是 否 检 查 字 
FEKE ,会 不 会 出 错 。 

Co 字符 类 型 检查 : 在 应 该 输入 指定 类 型 的 内 容 的 地 方 输入 其 他 类 型 的 内 容 ( 如 在 应 
该 输入 整 型 的 地 方 输入 其 他 字符 类 型 ) ,看 系统 是 否 检查 字符 类 型 ,是 否 报错 。 

(6) 标点 符号 检查 : 输入 内 容 包 括 各 种 标点 符号 ,特别 是 空格 .各 种 引号 、 回 车 键 。 看 
系统 处 理 是 否 正确 。 

(7) 中 文字 符 处 理 : 在 可 以 输入 中 文 的 系统 输入 中 文 , 看 是 否 出 现 乱 码 或 出 错 。 

(8) 检查 带 出 信息 的 完整 性 : 在 查看 信息 和 update 信息 时 ,查看 所 填写 的 信息 是 不 是 
全 部 带 出 , 带 出 信息 和 添加 的 是 否 一 致 。 
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(9) 信息 重复 : 在 一 些 需要 命名 , 且 名 字 应 该 唯一 的 信息 输入 重复 的 名 字 或 ID, 看 系统 
有 没有 处 理 , 是 否 报 错 , 重 名 包括 是 否 区 分 大 小 写 以 及 在 输入 内 容 的 前 后 输入 空格 ,系统 是 
否 做 出 正确 处 理 。 

(10) 检查 删除 功能 : 在 一 些 可 以 一 次 删除 多 个 信息 的 地 方 ,不 选择 任何 信息 , 按 
delete, 看 系统 如 何 处 理 , 是 否 出 错 ;然后 选择 一 个 和 多 个 信息 ,进行 删除 ,看 是 否 正确 处 理 。 

AD 检查 添加 和 修改 是 否 一 致 : 检查 添加 和 修改 信息 的 要 求 是 否 一 致 ,例如 添加 要 求 
必 填 的 项 ,修改 也 应 该 必 填 ;添加 规定 为 整 型 的 项 ,修改 也 必须 为 整 型 。 

(12) 检查 修改 重 名 : 修改 时 把 不 能 重 名 的 项 改 为 已 存在 的 内 容 , 看 是 否 处 理 ,报错 。 
同时 ,也 要 注意 ,会 不 会 报 和 自己 重 名 的 错 。 

(13) 重复 提交 表单 : 一 条 已 经 成 功 提交 的 记录 ,back 后 再 提交 ,看 看 系统 是 否 做 了 
处 理 。 

(14) 检查 多 次 使 用 back 键 的 情况 : 在 有 back 的 地 方 ,back, 回 到 原来 页 面 , 再 back, 重 
复 多 次 ,看 是 否 出 错 。 

(15) search Æ: 在 有 search 功能 的 地 方 输入 系统 存在 和 不 存在 的 内 容 , 看 search 结 
果 是 否 正确 。 如 果 可 以 输入 多 个 search 条 件 , 可 以 同时 添加 合理 和 不 合理 的 条 件 , 看 系统 
处 理 是 否 正确 。 

(16) 输入 信息 位 置 : 注意 在 光标 停留 的 地 方 输入 信息 时 ,光标 和 所 输入 的 信息 是 否 跳 
到 别 的 地 方 。 

AD 上 传 下 载 文 件 检查 : 上 传 下 载 文件 的 功能 是 否 实现 ,上 传 文件 是 否 能 打开 。 对 上 
传 文件 的 格式 有 何 规定 ,系统 是 否 有 解释 信息 ,并 检查 系统 是 否 能 够 做 到 。 

(18) 必 填 项 检查 : 应 该 填写 的 项 没有 填写 时 系统 是 否 都 做 了 处 理 , 对 必 填 项 是 否 有 提 
示 信 息 , 如 在 必 填 项 前 加 “x* ”。 

(19) 快捷 键 检查 : 是 否 支持 常用 快捷 键 ,如 Ctrl 十 C、Ctrl 十 V、Backspace 等 ,对 一 些 不 
允许 输入 信息 的 字段 ,如 选 人 , 选 日 期 对 快捷 方式 是 否 也 做 了 限制 。 

(20) 回 车 键 检查 : 在 输入 结束 后 直接 按 回 车 键 ,看 系统 处 理 如 何 , 是 否 报错 。 


@.2 使 用 WinRunner 进行 功能 测试 


8.2.1 WinRunner 简介 


Mercury Interactive 公司 的 WinRunner 是 一 种 企业 级 的 功能 测试 工具 ,用 于 检测 应 用 
程序 是 否 能 够 达到 预期 的 功能 及 正常 运行 。 通 过 自动 录制 ,检测 和 回放 用 户 的 应 用 操作 ， 
WinRunner 能 够 有 效 地 帮助 测试 人 员 对 复杂 的 企业 级 应 用 的 不 同 发 布 版 本 进行 测试 ,提高 
测试 人 员 的 工作 效率 和 质量 ,确保 跨 平 台 的 、 复 杂 的 企业 级 应 用 无 故障 发 布 及 长 期 稳定 
运行 。 

WinRunner 的 最 大 特点 是 能 快速 批量 地 完成 针对 功能 点 的 测试 ,十 分 利于 进行 回归 
测试 。 此 外 ,WinRunner 支持 程序 风格 的 测试 脚本 ,高 水 平 的 测试 人 员 可 通过 对 脚本 编程 
建立 流程 复杂 、 功 能 强大 的 测试 , 且 能 实现 对 测试 脚本 的 重用 。 针 对 大 多 数 编程 语言 
Windows 技术 ,WinRunner 提供 了 较 好 的 集成 ,支持 环境 ,因而 适合 于 基于 Windows 平台 


应 用 程序 的 功能 测试 。 
这 里 以 WinRunner 8. 2 为 例 来 讲解 WinRunner 的 测试 过 程 。 


1. WinRunner 测试 流程 


WinRunner 的 测试 过 程 主要 包括 如 下 6 个 步骤 : 

(1) 创建 GUI Map 文件 : WinRunner 可 以 通过 GUI Map 文件 来 识别 被 测试 应 用 程序 
中 的 GUI 对象 。 

(2) 创建 测试 脚本 : 通过 录制 ,编程 或 两 者 结合 的 方式 创建 测试 脚本 。WinRunner 的 
测试 文件 是 由 测试 脚本 语言 TSL(Test Script Language) 组 成 的 文本 文件 。 创 建 过 程 中 ,可 
以 通过 插入 验证 点 的 方式 检查 被 测 应 用 程序 的 响应 。 

(3) 调试 测试 : 用 调试 (Debug) 模 式 运 行 测试 脚本 以 确保 它们 可 以 平稳 地 运行 。 

(4) 执行 测试 : 用 验证 (Verify) 模 式 运行 测试 脚本 来 测试 应 用 程序 。 当 WinRunner 在 
运行 中 碰 到 验证 点 时 , 它 会 将 被 测 应 用 程序 中 的 当前 数据 和 以 前 捕捉 的 期 望 数 据 进 行 比较 ， 
如 果 发 现 了 任何 不 匹配 , WinRunner 将 会 把 目前 的 情况 捕捉 下 来 作为 真实 的 结果 。 

O 查看 测试 结果 : 确定 测试 脚本 的 成 功 或 是 失败 。 在 每 次 测试 脚本 运行 结束 之 后 ， 
WinRunner 会 将 结果 显示 在 报告 中 。 它 描述 了 所 有 在 运行 中 碰 到 的 重要 的 事件 ,例如 验证 
点 ,错误 信息 、 系 统 信息 或 用 户 信 息 。 如 果 发 现在 运行 中 有 任何 不 匹配 的 验证 点 ,测试 结果 
窗口 中 就 会 显示 期 望 的 和 实际 的 结果 。 

(6) 提交 缺陷 : 测试 执行 完成 后 , WinRunner 会 以 报表 的 形式 总 结 与 缺陷 相关 的 各 种 
信息 ,我们 可 以 直接 从 测试 结果 窗口 中 提取 缺陷 的 相关 信息 。 


2. WinRunner 测试 模式 


在 创建 测试 脚本 的 过 程 中 ,WinRunner 可 以 让 用 户 以 录制 的 方式 快速 建立 自动 测试 脚 
本 。 在 录制 时 ,用 户 还 是 与 平时 一 样 操作 应 用 程序 , WinRunner 会 将 用 户 的 动作 录制 下 来 ， 
例如 按 下 鼠标 左 键 .键盘 输入 等 ,并 以 TSL 产生 测试 脚本 。 

录制 前 ,用 户 要 先 选择 录像 的 模式 , WinRunner 提供 了 两 种 录制 模式 : 上 下 文 相关 
(Context Sensitive) 模 式 和 模拟 (Analog) 模 式 。 

D 上 下 文 相 关 模 式 (Context Sensitive mode) 

上 下 文 相 关 模 式 以 GUI 对 象 为 基础 WinRunner 会 根据 用 户 在 被 测 软件 上 的 操作 识 
别 用 户 点 选 的 对 象 (窗口 菜单、 按钮 等 ) 以 及 执行 的 操作 ( 单 击 、 移 动 、 选 取 等 ), 并 生成 TSL 
脚本 来 描述 这 些 内 容 。 录 制 过 程 中 ,WinRunner 会 忽略 这 些 对 象 在 屏幕 上 的 物理 位 置 。 

当 我 们 以 上 下 文 相 关 模 式 进行 录制 时 ,WinRunner 会 对 选取 的 每 个 对 象 做 唯一 描述 并 
ÆA GUI Map 文件 中 。GUI Map 文件 和 测试 脚本 是 分 开 保存 维护 的 , 当 软 件 用 户 界 面 发 
生变 化 时 ,只 需 更 新 GUI Map。 这 样 一 来 ,上 下 文 相 关 模 式 的 测试 脚本 就 非常 容易 被 重复 
使 用 。 

例如 ,以 上 下 文 相关 模式 录制 在 被 测 软 件 窗口 中 单 击 OK 按钮 的 动作 , WinRunner 会 
把 给 按钮 信息 写 入 对 应 的 GUI Map 文件 ,并 产生 如 下 的 TSL: 


Button press("OK"); 
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当 我 们 去 执行 这 段 TSL 代码 时 , WinRunner 会 模拟 一 个 用 户 来 进行 操作 , WinRunner 
从 GUI Map 文件 中 读 取 OK 按钮 的 描述 ,并 在 被 测 软件 中 查找 符合 这 些 描述 的 对 象 , 然 后 
单 击 。 即 使 OK 按钮 的 位 置 发 生变 化 ,也 不 影响 测试 的 执行 。 

2) 模拟 模式 (Analog mode) 

模拟 模式 记录 鼠标 单 击 .键盘 输入 和 鼠标 在 二 维 平 面 上 (x 轴 和 y 轴 ) 的 精确 运动 轨迹 。 
执行 测试 时 ,WR 让 鼠标 根据 轨迹 运动 。 这 种 模式 对 于 那些 需要 追踪 鼠标 运动 的 测试 非常 
有 用 ,例如 画图 软件 。 

例如 ,以 模拟 模式 录制 在 被 测 软 件 窗口 中 单 击 OK 按钮 的 动作 , WinRunner 会 生成 以 
下 的 TSL: 


move locator track(1); // 鼠 标 移动 
ntype("« T10»« kLeft » - "); // 按 下 鼠标 左 键 
ntype("«kLeft»* "); // 放 开 鼠 标 左 键 


执行 该 段 代 码 时 ,WinRunner 会 以 屏幕 的 决定 坐标 为 基准 控制 鼠标 移动 , 单 击 并 松 开 
OK 按钮 。 所 以 当 OK 按钮 的 位 置 发 生变 化 时 ,执行 模拟 模式 录制 的 测试 脚本 将 会 执行 
失败 。 

K 8-1 是 上 述 两 种 录制 模式 的 比较 ,如 果 被 测 程序 包含 一 般 的 GUI 对 象 ,也 包含 绘图 
区 域 , 那 么 就 需要 我 们 在 测试 时 随时 切换 录制 模式 。 


表 8-1 录制 模式 比较 


录制 模式 上 下 文 相 关 模 式 模拟 模式 

录制 内 容 GUI 对 象 和 相关 输入 输出 鼠标 单 击 、 鼠 标 移动 .键盘 输入 
录制 特征 忽略 对 象 位 置 以 屏幕 绝对 坐标 定位 操作 
代码 重用 测试 脚本 可 以 重用 不 能 重用 


3. 启动 WinRunner 


正确 安装 注册 WinRunner 产品 后 , 单 击 WinRunner 图 标 启动 WinRunner 8. 2 程序 。 
这 时 ,WinRunner 的 记录 /执行 引擎 开始 运行 ,相应 的 图 标 上 出 现在 Windows 任务 栏 上 ,该 
引擎 用 于 建立 和 维护 WinRunner 和 被 测 软 件 之 间 的 连接 。WinRunner 首先 出 现 如 图 8-1 
的 插件 管理 窗口 WinRunner Add-in Manager, 这 里 显示 目前 可 以 使 用 的 插件 。 在 接 下 来 的 
测试 过 程 中 我 们 没有 用 到 任何 插件 ,所 以 这 里 不 做 任何 勾 选 ,直接 单 击 OK 按钮 进入 
WinRunner 测试 程序 主 界面 ,如 图 8-2 所 示 。 

现在 我 们 就 可 以 开始 测试 了 。 关 于 WinRunner 的 各 种 功能 菜单 这 里 就 不 再 详细 介绍 ， 
我 们 会 在 下 面 的 讲解 中 解释 它们 的 作用 。 


4. 示例 软件 Flight Reservation 


Flight Reservation 是 WinRunner 自 带 的 航班 预订 软件 ,主要 用 来 让 用 户 学 习 
WinRunner 的 各 项 功能 。 该 软件 有 两 个 版 本 Flight 4A 和 Flight 4B,Flight 4A 是 正常 的 软 
件 ,Flight 4B 有 一 些 故意 加 入 的 错误 。 在 WinRunner 教学 中 两 个 版 本 用 来 互相 比较 。 登 
录 该 软件 可 以 使 用 任意 用 户 名 (长 度 至 少 4 个 字符 ) ,密码 为 : Mercury。 


WinRunner 
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WinRunner Add-in Nanager 


Please select add-ins to load: 
MERCURY rrr 
T PowerBuilder 
WinRunner Bed 
口 webTest 


图 8-2 WinRunner 测试 程序 主 界面 
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8.2.2 GUI Map 
1. WinRunner 如 何 识别 GUI 对 象 


GUI Map 文件 主要 用 来 存储 被 测 软 件 中 的 窗口 或 对 象 信息 。 当 运行 测试 脚本 时 ， 
WinRunner 就 利用 GUI Map 来 定位 对 象 ,从 中 读 取 对 象 的 描述 并 且 在 被 测 应 用 程序 中 寻 
找 具 有 相同 属性 的 对 象 。 

GUI Map 文件 中 的 每 一 个 对 象 都 有 一 个 物理 描述 (Physical Description) 和 一 个 逻辑 名 
称 (Logical Name)。 

WinRunner 使 用 物理 描述 识别 被 测 软 件 的 GUI 对 象 ,物理 描述 包括 : 物理 属性 清单 和 属性 
值 。 这 些 属性 - 值 的 配对 在 GUI Map 中 以 下 面 的 格式 出 现 : {属性 1: 值 1, 属 性 2: 值 2……}。 例 
如 ,对 于 Open 窗口 的 描述 包含 两 个 属性 : 类 (Class) 和 卷 标 (Label)。 类 的 属性 值 是 
Window , 卷 标的 属性 值 是 Open: {class:window,label:open}。 类 的 属性 标识 对 象 的 类 型 ， 
每 个 对 象 根据 功能 的 不 同属 于 不 同 的 类 : window , push button,list; radio button, menu 等。 

对 象 的 逻辑 名 称 是 由 其 类 决定 的 。 在 大 多 数 情况 下 ,我 们 可 以 将 逻辑 名 称 看 成 是 它 的 
卷 标 ,也 就 是 显示 在 对 象 上 的 标签 。 

通俗 地 讲 ,GUI Map 就 是 记录 了 你 是 谁 , 做 了 什么 , 即 所 谓 的 类 和 卷 标 ,逻辑 名 就 是 物 
理 描述 的 简称 ,就 是 卷 标 ,一 般 就 是 指 做 了 什么 。 


2. 用 GUI Spy 查看 GUI 对 象 属性 


WinRunner 提供 了 一 个 工具 叫 GUI Spy, 可 以 
用 来 查看 某 个 GUI 对 象 有 哪些 属性 。 下 面 我 们 用 
GUI Spy 来 查看 Flight Reservation 示例 程序 登录 
窗口 的 GUI 对 象 。 

执行 “开始 ”一 “程序 ”> WinRunner —> Sample 
Application-* Flight 4A 打开 示例 程序 的 登录 窗口 ， 
如 图 8-3 所 示 。Flight Reservation 主 界面 如 图 8-4 
所 示 。 图 8-3 Flight Reservation 登录 界面 

执行 “开始 ”一 “程序 ”一 WinRunner 一 
WinRunner, 打 开 WinRunner, 单 击 菜单 项 Tools GUI Spy 开启 GUI Spy, 选 中 Hide 
WinRunner 选项 ,如 图 8-5 所 示 。 接 下 来 , 单 击 Spy 按钮 , WinRunner 窗口 最 小 化 ,将 鼠标 
移动 到 登录 窗口 上 ,被 鼠标 指 到 的 GUI 对 象 会 有 一 个 闪 动 的 外 框 ,同时 GUI Spy 中 显示 
GUI 对 象 的 属性 。 例 如 图 8-6 显示 了 当 和 鼠标 指向 OK 按钮 时 ,GUI Spy 窗口 显示 了 相关 的 
属性 。 单 击 组 合 键 Ctrl 十 F3 可 以 退出 查看 模式 。 


3. GUI Map 文件 模式 


当 WinRunner 识别 GUI 对 象 后 ,会 将 GUI 对 象 的 相关 描述 存储 在 GUI Map 文件 中 。 
GUI Map 文件 的 扩展 名 是 . gui. WinRunner 提供 了 两 种 GUI Map 文件 模式 : Global GUI 
Map file fll GUI Map file per test。 这 两 种 模式 可 以 在 General Options 对 话 框 (从 Tools 菜 
单项 中 打开 ) 中 进行 选择 ,如 图 8-7 所 示 。 


+< Flight Reservation 


File Edit Analysis Help 
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Belelle] 


Flight Schedule: 


Date of Flight: Fly From: 


Nm [ 


Order Information 
Fight No Departure Time: 


Click the Spy button to spy on 
properties. 
Window Name: 


Object Name: 


Recorded | Al Standard | 
[ [Members] 


Click the Copy button to copy the Copy 
object's GUI Map description to the Ewn] 
clipboard. 


[Click the Copy button to copy the 
object's GUI Map description to the 
clipboard. 


Ív. Hide WinRunner Close. Help 


图 8-5 GUI Spy 对 话 框 


1) Global GUI Map file 模式 


可 Dose 


图 8-6 OK 按钮 的 属性 


Help 


WR 最 有 效率 的 用 法 是 把 测试 分 组 。 一 组 中 的 测试 任务 都 测试 同一 窗 体 上 的 GUI 对 
象 。 这 样 这 些 任务 就 可 以 共享 GUI Map file。 当 GUI 发 生变 化 ,只 需要 修改 一 个 GUI 


Map file, 就 可 以 让 同 组 中 的 任务 都 正常 工作 。 
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General Options 


Ív Back up test script automatically every |10 E:| minutes 


Selected Applications 
Script Format 
Text Recognition 

P Run GUI Fies 
Settings GUI map fle mode: 
Synchronization 
Recon. C GUI Map fie per test 

X. Notifications IV. Load temporary GUI map fie [specify fle in the Folders category) 
E-mail 


Recipient. 
fl Appearance. Language 
Keyboard fie: [d program fles\winrunner\dat\win_scan kbd [s] 


8-7 General Options 对 话 框 


WR 有 几 种 学 习 被 测 软件 GUI 对 象 的 方法 。 通 常 使 用 RapidTest Script wizard 在 录 
制 脚 本 前 一 次 性 地 学 习 所 有 的 GUI 对象。 这些 GUI 对 象 的 物理 描述 保存 在 GUI map X 
件 里 。 因 为 采用 Global GUI Map file 模式 ,所 以 GUI Map 文件 可 以 共享 ,其 他 用 户 就 不 需 
要 再 单独 把 GUI 学 习 一 次 。 如 果 学 习 后 GUI 对 象 发 生 了 变化 ,我 们 可 以 用 GUI Map 
Editor( Tools 菜单 中 ) 单 独 学 习 变 化 的 窗 体 或 对 象 , 并 以 此 更 新 GUI Map 文件 。 

需要 我 们 注意 的 是 ,由 于 Global GUI Map file 独立 于 测试 脚本 ,所 以 在 你 关闭 测试 时 
系统 不 会 自动 保存 。 那 么 ,我 们 一 旦 修改 了 Global GUI Map 文件 就 一 定 要 记 住 手动 保存 
文件 。Global GUI Map file 模式 适合 已 经 熟悉 了 WinRunner 使 用 的 用 户 。 

2) GUI Map file per test 模式 

在 GUI Map file per test 模式 下 ,测试 者 不 需要 教 WR 去 学 习 被 测 软件 的 GUI 对 象 
了 ,也 不 需要 保存 或 加 载 GUI map 文件 。 因 为 这 里 的 GUI Map 文件 是 和 测试 脚本 相关 联 
的 。 在 这 种 模式 下 ,WR 在 创建 新 测试 时 会 自动 创建 一 个 新 的 GUI Map 文件 ; 在 保存 测试 
的 时 候 自动 保存 GUI map 文件 ; 在 打开 测试 时 自动 加 载 GUI map 文件 。 

在 GUI Map file per test 模式 下 ,RapidTest Script wizard 学 习 功 能 是 被 禁用 的 。 对 于 
初学 者 来 讲 , 可 以 考虑 使 用 GUI Map file per test 模式 ,这 样 你 就 不 需要 处 理 GUI Map file 
的 相关 动作 。 

4. 使 用 RapidTest Script wizard 学 习 GUI 对 象 

RapidTest Script wizard 只 能 在 Global GUI Map file 模式 下 工作 , 它 能 识别 指定 窗口 
中 所 有 的 GUI 对 象 。 下 面 我 们 利用 RapidTest Script wizard 来 学 习 示 例 软件 Flight 


Reservation 的 GUI 对象 。 
步骤 一 : 打开 并 登录 Flight Reservation。 示 例 软 件 登 录 时 ,用 户 名 为 任意 长 度 超过 4 


的 英文 字符 串 ,密码 是 mercury。 

步骤 二 : 打开 WinRunner, 通 过 File New 菜单 新 建 测 试 。 

步骤 三 : 单 击 Insert>RapidTest Script wizard 菜单 项 打开 RapidTest Script wizard XX 
迎 窗口 , 单 击 Next 按钮 进入 下 一 个 页 面 ,这 里 要 指定 学 习 的 应 用 程序 ,如 图 8-8 所 示 。 

步骤 四 : 在 图 8-8 中 单 击 E 园 按钮 ,然后 点 选 Flight Reservation 软件 的 任意 位 置 即 可 。 
Window Name 中 会 出 现 Flight Reservation 的 窗口 名 称 , 如 图 8-9 所 示 。 单 击 Next 按钮 进 
fS FE: 


RapidTest Script Wizard gl Rapiarest Script Vizard 


Identiy Your 
Application Make sure your application is open and Make sure your application is open and 
accessible accessible. 


Press the hand icon and then click on your Press the hand icon and then click on your 
main application window. main application window. 


国 


图 8-8 指定 学 习 对 象 图 8-9 学 习 对 象 被 识别 


步骤 五 : 在 如 图 8-10 页 面 , 取 消 所 有 复 选 框 , 单 击 Next 按钮 进入 下 一 步 。 如 图 8-11 所 
示 , 这 里 主要 告诉 WinRunner 哪些 GUI 对 象 会 开启 一 个 新 窗口 ,默认 值 是 “…” 和 “之 二 ”。 
接受 默认 值 , 单 击 Next 按钮 进入 下 一 步 。 如 图 8-12 所 示 , 设 定 Learning Flow JJ Express. 
RapidTest Script wizard 提供 了 两 种 学 习 模 式 : Express 和 Comprehensive, 这 里 选择 
Express 模式 。 

步骤 六 : 单 击 图 8-12 中 的 Learn 按钮 开始 识别 Flight Reservation 中 所 有 的 GUI 对 
象 ,包括 下 拉 菜 单 、 开 启 的 新 窗口 等 。 该 过 程 可 能 会 进行 较 长 的 时 间 , 并 且 被 测 软件 的 子 窗 
口 越 多 ,识别 所 消耗 的 时 间 就 越 长 。 识 别 完毕 后 ,会 出 现 如 图 8-13 所 示 的 窗口 ,选中 No 单 
选 按钮 , 单 击 Next 按钮 进入 下 一 步 操 作 。 


RapidTest Script Wizard RapidTest Script Wizard 


Select Tests Select one or more of the folowing tests: 
To open all windows and dialog bores 
[^ GUI Regression Test in your application, Script Wizard will 
activate all navigation contiols, such as 
Compares GUI between versions Eus iue 
[^ Bitmap Regression Test 


Compares Bitmaps between versions Which characters or symbols are used in your 


[^ User Interface Test Ope zi application's user interface to open new windows] 
Checks a 


bones? 

adherence to MS Windows UI be 
conventions 2» 

[^ Test Template. 
Creates a test script template for future. 
use 


厂 Pause to confirm for each window 
«<Back Cancel | Heb «<Back Cancel | Heb 
图 8-10 选择 测试 类 型 图 8-11 接受 Navigation Controls 默认 值 
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RapidTest Script Wizard RapidTest Script Wizard 


Set the Leaming Do you want your application to start 
Flow uu ly whenever you 
WinRunner ? 


application 
using WinRunner defaults 


c Ni 
You will have to start your application 
before unning ary tests. 


C Yes 


Whenever you start WinRunner your. 
application will also be started, 


«Back. Cancel | Heb Cancel | Heb 
图 8-12 设置 学 习 流程 图 8-13 设置 是 否 自 动 执行 


步骤 七 : 图 8-14 窗口 出 现 Startup script 和 GUI Map file 预存 储 路 径 ,测试 者 可 以 自 
定义 这 些 文件 的 位 置 , 设 置 完成 后 , 单 击 Next 按钮 进入 图 8-15 所 示 的 Congratulation 对 话 
框 , 单 击 OK 按钮 完成 学 习 。 

步骤 八 : 单 击 Tools-* GUI Map Editor, 打 开 GUI Map 文件 编辑 器 ,可 以 看 到 通过 上 述 
学 习 得 到 的 Global GUI Map File 的 内 容 ,如 图 8-16 所 示 。 


RapidTest Script Wizard 


Save Files Sciipt Wizard has leamed your 
application and wil save the following: 


Startup — 性 \program files\winunneridat 
scrip 


Each lime you start WinRunner the 
settings lor your application wil be loaded 
automaticaly by the startup script 
Your tests vill be displayed 


GUI Map fd\program fleswinunner x| N i inthe WinRunner window. 
f A A Use the "Run" command 

Al infomation regarding the GUI of your N e from the WinRunner menu 

application will be saved in a GUI Map N to execute a test 


"IN. 
图 8-14 设置 存储 路 径 图 8-15 识别 成 功 


8.2.3 录制 测试 脚本 


WinRunner 使 用 自动 录制 脚本 和 手工 编写 脚本 两 种 形式 来 创建 测试 。 手 工 编写 脚本 
功能 较 强 ,使 用 形式 灵活 ,适合 高 级 测试 人 员 使 用 。 对 应 初学 者 ,使 用 自动 录制 脚本 方式 创 
建 测试 较为 合适 。 在 实际 应 用 中 ,一 般 会 将 两 者 结合 使 用 , 即 先 自动 录制 脚本 ,再 手工 修改 
脚本 。 

录制 脚本 过 程 中 ,测试 人 员 与 平时 一 样 操作 被 测 软件 , WinRunner 将 会 记录 测试 人 员 
的 所 有 动作 ,并 生成 TSL 测试 脚本 。 
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X; GUI Kap Editor 


File Edit View Options Tools 
Windows/Objects: 
[About Fight Reservatior ill 


A "tall 1" 


AK “whieEagle System 
dh Buton 

A "Copyright 2002ktatoj 
AK Fight Reservation Sys 
A "Mercury Toursfstatic)" 
国 ok 

A "Programmers:(static]" 
A "Shawn Abemathy, Ch» 
A Verion 40st" S 


< > 


IV. Show Physical Description 


图 8-16 GUI Map Editor 窗口 


本 节 以 示例 软件 Flight Reservation 为 例 来 说 明 自 动 录制 测试 脚本 的 相关 内 容 。 
1. 录制 上 下 文 相 关 (Context Sensitive) 模 式 的 测试 脚本 


这 里 我 们 用 上 下 文 相关 模式 来 录制 示例 软件 打开 3 号 订单 功能 的 测试 脚本 ,步骤 如 下 。 

步 又 一 : 创建 测试 工程 example_1。 

运行 WinRunner, 单 击 File>New ,创建 一 个 新 的 测试 。 选 择 File>Save As Test, W 
试 工程 命名 为 example_1。 

需要 注意 的 是 WinRunner 是 以 目录 的 形式 管理 测试 工程 ,新 创建 的 测试 工程 example_1 
实际 上 就 是 一 个 文件 夹 , 脚 本 文件 保存 在 其 中 ,如 图 8-17 所 示 。 
I le 
QAE- O- I| DRR |o xea |E ROT A 站 


Hil QD [O C:\Documents and Settings\Adainistrator\liy Docments\eranple1 — 7] [E P881 | BER. » 
文件 到 x Em. | 大 小 | 天 型 | 修改 日 其 IE TTI 
Ce 文件 


R 2011-4-18 15:15 


exp AHR 2011-4-18 15:15 


我 的 文档 加 
5 picem [heuer 138 文件 2011-4-18 15:15 A 
E O expla i (Sick 1 XB 文件 2011-4-18 15:15 A 
È 国 :eript om 文件 2011-4-18 15:15 A 
Dè 
m-L 
[IDEM 


回回 my Projects 
E È My Virtual Machines 
E) (C3 Visual Studio 2008 


8-17 ”新 建 测试 工程 example_1 
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步骤 二 : 运行 并 登录 Flight 4A, 

打开 Flight 4A 的 登录 界面 ,输入 4 个 字符 以 上 的 用 户 名 ,这 里 我 们 输入 admin, 密 码 为 
mercury, 单 击 OK 按钮 进入 主 界面 。 调 整 WinRunner 和 Flight 4A 的 窗口 大 小 和 位 置 , 尽 
可 能 地 使 这 两 个 窗口 中 的 内 容 都 能 被 看 到 。 

步骤 三 : 以 上 下 文 相关 模式 开始 录制 测试 脚本 。 

在 WinRunner 中 选择 Test 菜单 中 的 Record E 
Context Sensitive aÈ H cO dz T. EF P fl 4 Record Search: — — — — — — 
按钮 进入 录制 模式 ,从 现在 开始 WinRunner 会 录制 所 | p 


有 鼠标 的 单 击 和 键盘 的 输入 。 请 注意 ,大 Record 会 rao 
变 成 f Record ,表示 已 经 进入 上 下 文 相关 录制 模式 。 [Lee 

步骤 四 : 打开 3 号 订单 。 ess 

进入 上 下 文 相关 录制 模式 后 ,在 Flight 4A 中 选 | 
择 File Open Order 菜单 项 ,在 打开 的 Open Order 窗 Carcel | 
口中 Order No. 编辑 框 中 输入 3, 如 图 8-18 所 示 , 单 击 
OK 按钮 ,在 主页 面 中 打开 3 号 订单 ,如 图 8-19 所 示 。 A Open Order BH 


A Flight Reservation 


Pile Edit Analysis Help 


IE RESISTE 


p Flight Schedule: 


Date of Fight Fly From: Fy Te Ea ^8 id 
[03/06/11 LosAngeles =i [Poniard M Flights... 

Order Information: i 
Flight No: Departure Time: Arival Time: Aine: s 

4194 [08.00 AM [foam Twa 

Name 

Mary Parker Tickete: [5 


Class: Price: [516060 
c C Busness — C Economy 

| Es g s Tatat [550300 
Update Order | Delete Order. 


Æ 8-19 打开 的 3 号 订单 


步骤 五 : 停止 录制 ,保存 脚本 。 
录制 结束 ,返回 WinRunner, 选择 Test — Stop. Recording, 或 者 在 工具 栏 中 直接 单 击 
E Stop 按 钮 停止 录制 测试 脚本 ,图 8-20 显示 了 录制 得 到 的 脚本 , 单 击 按钮 保存 录制 的 脚本 。 


2. 了 解 测试 脚本 
在 上 面 的 测试 中 ,我 们 录制 了 在 Flight 4A 中 打开 3 号 订单 的 测试 脚本 ,得 到 的 脚本 如 下 : 


* Flight Reservation 
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二 
i^y) He Edt wiew Insert Test Debug Toos Tabe Wndow Hep -B8x 


:Dd Hla :nuee858* 
i be verify » | @ Record Je From Top  FromAmow Ni Stop 


Debug Viewer x 
Watch [gresco...] Cal Chan | $ Flight Reservation 
4 win activate ("Flight Reservation"): 
十 X XE ES set window ("Flight Reservation, 4): 
menu select item (“File,Open Order...7); 
£ pen Order 
set window ("Open Order^, 1): 
button set ("Order No.”, OR): 
edit set ("Edit 1", 737): 
button press ("OK") ; 
Function Viewer x 
+x 


8-20 FHAR 


win_activate ("Flight Reservation"); 
set_window ("Flight Reservation", 4); 
menu select item ("File;Open Order..."); 


# Open Order 

set window ("Open Order", 1); 

button set ("Order No.", ON); 

edit set ("Edit 1", "3"); 

button press ("OK"); 

WinRunner 产生 的 TSL 脚本 描述 了 选择 GUI 对 象 以 及 互动 的 方式 ,脚本 的 详细 说 明 
如 下 : 

WinRunner 会 对 单 击 的 GUI 对 象 自动 命名 ,通常 是 以 该 GUI 对 象 上 的 文字 作为 它 的 
名 称 ,这 个 名 称 称 为 逻辑 名 称 。 例 如 上 述 代码 中 的 


button_set ("Order No.", ON); 


edit set ("Edit 1", "3"); 


Order No. 就 是 这 个 Order No. 复 选 框 的 逻辑 名 称 ,Edit_1 是 订单 编辑 框 的 逻辑 名 称 。 
如 果 录 制 过 程 中 进行 了 窗口 切换 操作 , WinRunner 会 自动 在 测试 脚本 中 添加 注释 。 例 
如 , 当 我 们 选择 Open Order 菜单 项 打开 Open Order 对 话 框 时 ,WinRunner 自动 加 入 注释 : 


* Open Order 


268 


N^ 


软件 测试 实践 教程 


切换 窗口 过 程 中 首先 会 产生 一 行 set_window() 指 令 , 后 面 才 是 操作 指令 。 例 如 : 
set window ("Open Order", 1); 


set_window() 指 令 有 两 个 参数 ,第 一 个 参数 是 当前 窗口 的 逻辑 名 称 ,第 二 个 参数 表示 
等 待 的 时 间 。 


3. 录制 模拟 模式 (Analog) 的 测试 脚本 


接 下 来 ,我 们 用 模拟 模式 来 录制 一 段 测试 脚本 ,此 测试 脚本 的 操作 流程 是 在 示例 软件 
Flight Reservation 中 传真 一 笔 订单 。 录 制 过 程 先 使 用 上 下 文 相关 模式 ,在 签名 时 切换 成 模 
拟 模式 ,录制 完 签名 的 部 分 再 切换 回 上 下 文 相关 模式 。 

步骤 一 : 打开 测试 工程 example_1 ,做 好 录制 准备 。 

打开 并 登录 Flight 4A 软件 ,在 主页 面 中 打开 3 号 订单 。 在 WinRunner 中 打开 测试 工 
FE example_1 的 测试 脚本 ,将 光标 移 至 最 后 一 行 ,做 好 测试 准备 。 

步骤 二 : 开始 以 上 下 文 相关 模式 录制 测试 脚本 。 

在 WinRunner 中 选择 Test 菜单 中 的 Record Context Sensitive 或 直接 单 击 工具 栏 中 
Hi] @ Record 按 钮 进入 录制 模式 。 

步骤 三 ; 打开 传真 订单 。 

在 Flight 4A 中 选择 File Fax Order, 打 开 Fax Order No. 3 窗口 。 在 Fax Number 中 
输入 (415)555-1234, 勾 选 Send Signature with order 选项 ,如 图 8-21 所 示 。 

步骤 四 : 使 用 模拟 模式 录制 签名 。 

切换 到 WinRunner 窗口 , 按 下 F2 键 或 单 击 工具 栏 上 的 大 Record 按 钮 ,录制 模式 将 从 
上 下 文 相关 模式 切换 到 模拟 模式 ,并 且 f Record 会 变 成 总 Escod 。 将 鼠标 移 至 Agent 
Signature 空白 区 域 开始 签名 ,注意 WinRunner 如 何 录制 签名 的 动作 。 

步骤 五 : 切换 至 上 下 文 相关 模式 录制 传真 订单 脚本 。 

签名 完成 后 ,如 图 8-21 所 示 ,再 次 按 下 F2 键 或 单 击 工具 栏 上 的 茧 jgRscomdd 按 钮 ,录制 模式 
从 模拟 模式 切换 回 上 下 文 相关 模式 ,并且 Record 2:2: ji, f Record 。 单 击 Fax Order No. 3 fif 
口中 的 Send 按钮 ,Flight 4A 会 仿真 地 将 订单 传真 出 去 。 


Fax Order Ho. 3 


# Tickets: Ticket Price: 


| [ 
Fax Number. Agent Signature: 
(41515551234 


图 8-21 传真 订单 


第 8 章 ”功能 测试 实施 


步骤 六 : 停止 录制 ,保存 脚本 。 

返回 WinRunner, 选 择 Test— Stop Recording, 或 者 在 工具 栏 中 直接 单 击 国 Stop 按钮 
停止 录制 ,保存 测试 脚本 。 

测试 脚本 录制 过 程 中 的 注意 事项 : 

(1) 录制 前 要 尽量 关闭 不 相关 的 应 用 程序 和 窗口 。 

(2) 在 模拟 录制 模式 下 ,应 尽量 避免 录制 鼠标 拖 忠 的 动作 。 例 如 要 卷 动 窗口 时 ,应 以 单 
击 方式 卷 动 窗口 ,尽量 不 要 拖 搜 scroll bar。 

(3) 当 使 用 Global GUI Map file 模式 录制 测试 脚本 时 ,被 录制 的 新 GUI 对 象 会 被 
WinRunner f£ À temporary GUI Map file 中 ,测试 结束 时 记得 保存 Global GUI Map file, 

(4) 在 录制 过 程 中 ,可 以 利用 F2 键 切 换 录 制 模式 。 


4. 执行 测试 脚本 


录制 完成 后 , WinRunner 生成 了 测试 脚本 , 下面 我 们 就 可 以 通过 执行 测试 脚本 分 析 测 
试 结 果 了 。WinRunner 提供 了 三 种 测试 脚本 执行 模式 : Verify, Debug 和 Update。 它 们 适 
用 于 不 同 的 方面 ,基本 用 法 如 下 : 

。 Verify: 执行 测试 以 检查 应 用 程序 功能 。 

* Debug: 检查 测试 脚本 执行 是 否 流畅 ,调试 测试 脚本 错误 。 

* Update; 更 新 检查 点 的 预期 值 。 

下 面 我 们 给 出 执行 测试 脚本 的 步骤 。 

步骤 一 : 用 WinRunner 打开 测试 工程 example_1 ,打开 示例 软件 Flight 4A。 

步骤 二 : 使 用 Verify 模式 执行 测试 脚本 。 

在 WinRunner T.F. EYEE & Verify 模式 ,选择 Test 菜单 中 的 Run From Top 选 
项 或 直接 单 击 工具 栏 上 的 Us From Top 按 钮 .Run Test 窗口 开启 。 

在 Run Test 对 话 框 的 Test Run Name 编辑 框 输入 目录 名 ,默认 是 resl, WinRunner 会 
将 测试 脚本 执行 的 结果 存储 在 Test Run Name 目录 下 。 单 击 OK 按钮 开始 执行 测试 ,如 
图 8-22 所 示 。 


TestBunName: [E] 
T^ Use Debug mode (dont display this dialog box) 
[v Display test results at end of run 


[| 


Co | ce | Hop | 


图 8-22 Run Test 对 话 框 


步骤 三 : 显示 测试 执行 结果 。 
当 测 试 执行 完毕 后 , WinRunner 会 开启 Test Results 窗口 ,显示 测试 执行 结果 ,如 
图 8-23 所 示 。 
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F FinRunner Test Results — [Ez VEy Documentsiexample 1] 


+Y Total number of bitmap checkpoints: 
| of GUI checkpoints: 


20114A 208 12121 
Administrator 

BE spected Results Folder: ep 

Tota Pun Time: 00:00:37 


图 8-23 测试 结果 窗口 


5. 分 析 测试 结果 


测试 脚本 运行 结束 后 , WinRunner 将 自动 弹出 一 个 结果 显示 窗口 ,如 图 8-23 所 示 。 该 
窗口 中 显示 了 测试 结果 和 与 测试 脚本 相关 的 各 种 信息 ,测试 人 员 能 从 中 了 解 测试 脚本 执行 
的 状态 和 结果 。 


8.2.4 检查 点 


就 像 单元 测试 一 样 ,功能 测试 过 程 中 也 需要 验证 某 些 控 件 的 值 与 预期 结果 是 否 相同 。 
WinRunner 使 用 检查 点 (Checkpoint) 来 检查 指定 控件 的 值 与 预期 值 是 否 一 致 。 

通过 检查 点 的 设置 以 及 对 各 点 处 输出 信息 的 编程 定义 ,我 们 可 以 在 脚本 运行 结果 单 中 
查看 各 项 测试 内 容 是 否 都 已 通过 。 在 功能 测试 中 ,检查 点 可 以 用 在 以 下 两 个 方面 : 检查 应 
用 程序 经 过 修改 后 对 象 状态 是 否 发 生变 化 ; 检查 对 象 数据 是 否 和 预期 数据 一 致 。 
WinRunner 提供 的 检查 点 类 型 有 : GUI 对 象 检查 点 、 图 像 检 查 点 ,文字 检查 点 和 数据 库 检 
查 点 。 


1. GUI 对 象 检查 点 (GUI Checkpoint) 


在 程序 运行 过 程 中 , 当 输入 条 件 发 生变 化 时 ,一些 相应 GUI 对 象 的 状态 也 会 发 生变 化 ， 
如 编辑 框 的 内 容 、. 单 选 按钮 被 选中 ,菜单 项 或 按钮 的 禁用 等 ,这 些 都 是 靠 开 发 人 员 编程 实现 
的 。 但 在 软件 交付 开发 人 员 修 改 时 ,对 某 一 模块 的 改动 可 能 会 引起 另 一 模块 错误 的 产生 。 
针对 这 种 情况 ,在 需要 考察 的 对 象 上 设置 检查 点 ,软件 改正 后 重新 测试 时 ,只 要 运行 先前 测 
试 中 录制 的 脚本 ,就 可 以 发 现 是 否 有 上 述 情况 发 生 。 

对 同一 对 象 ,我 们 可 以 考察 它 的 多 个 属性 ,这 在 脚本 录制 过 程 中 设置 GUI Checkpoint 


时 相应 设 定 。 脚 本 回放 后 ,结果 列表 里 就 可 以 显示 对 象 各 个 属性 值 的 变化 情况 。 

接 下 来 ,我 们 将 对 开启 订单 窗口 建立 GUI 检查 点 。 

步骤 一 : 启动 WinRunner 和 Flight 4A。 

步骤 二 : 以 上 下 文 相关 模式 录制 测试 脚本 。 

在 WinRunner 中 新 建 测试 工程 example_2, 选择 Test 菜单 中 的 Record Context 
Sensitive 或 直接 单 击 工 具 栏 中 的 大 Record 按 钮 进入 上 下 文 相关 录制 模式 。 

步骤 三 : 开启 Open Order 窗口 。 

在 Flight 4A 中 选择 File 菜单 的 Open Order 选项 ,开启 Open Order 窗口 。 在 Open 
Order 窗口 中 选中 Order No. 的 复 选 框 ,并 在 编辑 框 中 输入 数字 4。 

步骤 四 : 为 Order No. 的 编辑 框 建立 检查 点 。 

回 到 WinRunner 窗口 中 , 单 击 菜单 项 Insert GUI Checkpoint- For Object/Window. 
这 时 整个 窗口 进入 闪 动 状态 ,用 鼠标 左 键 在 Order No. 的 编辑 框 上 连 击 两 下 ,Check GUI fif 
口 开启 并 显示 被 选取 GUI 对 象 的 状态 ,如 图 8-24 所 示 。 选 择 Range 属性 ,弹出 图 8-25 所 示 
的 对 话 框 ,要 求 在 其 中 输入 被 检查 GUI 对 象 的 值 的 范围 ,这 里 我 们 分 别 3 和 5, 单 击 OK 按 
钮 回 到 Check GUI 窗口 。 属 性 设置 完毕 后 ,直接 单 击 OK 按钮 退出 Check GUI 窗口 。 接 下 
来 , WinRunner 会 在 测试 脚本 中 插入 obj check gui 检查 点 。 


名 Check GUI — D:\ 软 件 测试 教材 \ 第 8 章 \WinRunner 工 程 \example_2\chklistVlist5- ckl 
Edit Select All Clear All Properties 


ti v " 
Add A1 Select All | Clear All 


Objects Properties 
S DIE Open Order Name Ar goments Expected Value E: 
vau] ERIT MG Compare As Text 


OG DateFormat 


< NAA > 


OQ Enbled OFF 


O Focused OFF 
OQ Nie 20 

OQ Range 一 < N/A > 
OQ RerularExpression — < N/A > 
OQ TimeFornat < N/A > 
OQ tiaa 150 
nex 36 
ner 188 


I Highlight Selected Object 


图 8-24 设置 检查 点 属性 


这 里 需要 注意 的 是 : 如 果 以 单 击 的 方式 选择 GUI 对 象 ,Check GUI 窗口 不 会 打开 ,并 
且 WinRunner 会 直接 把 State 属性 当成 检查 点 要 检查 的 
属性 在 测试 脚本 中 插入 检查 点 。 

步骤 五 : 在 Customer Name 的 编辑 框 建立 第 二 个 检 
查 点 。 

接 下 来 ,为 在 Open Order 窗口 Customer Name 的 不 
可 用 状态 的 编辑 框 建立 第 二 个 GUI 检查 点 ,与 步骤 四 不 
同 的 是 ,打开 Check GUI 窗口 后 ,要 勾 选 其 中 的 Enabled 
属性 , 它 的 预期 值 都 是 OFF. 图 8-25 Check Arguments 对 话 框 
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步骤 六 : 开启 订单 ,停止 录制 。 


在 Open Order 窗口 中 单 击 OK 按钮 开启 4 号 订单 ,返回 WinRunner 窗口 ,选择 Test 
Stop Recording. Xd fe T Epp f EEG lE Stop 按 钮 停止 录制 ,保存 测试 脚本 。 


脚本 录制 完毕 ,测试 脚本 清单 如 下 : 


# Flight Reservation 
win activate ("Flight Reservation"); 
set window ("Flight Reservation", 2); 
menu select item ("File;Open Order..."); 


# Open Order 
set window ("Open Order", 2); 
button set ("Order No.", ON); 
set window ("Open Order", 4); 
edit set ("Edit 1", "4"); 


obj check gui("Edit 1", "list8.ckl", "gui8", 2); 
obj check gui("Edit", "list9.ckl", "gui9", 16); 


win activate ("Open Order"); 
set window ("Open Order", 4); 
button press ("OK"); 


插入 GUI 检查 点 的 代码 是 : 


obj check gui("Edit 1", "list8.ckl", "gui8", 2); 
obj check gui("Edit", "list9.ckl", "gui9", 16); 


其 中 list8. ckl 和 list9. ckl 为 检查 清单 文件 ,gui8 和 gui9 为 预期 输出 结果 文件 。 第 一 个 检查 
点 主要 检查 在 Order No. 编辑 框 中 输入 的 数值 是 否 在 合理 范围 [3 ,5] 内 ,第 二 个 检查 点 检查 


Customer Name 编辑 框 是 否 处 于 不 可 用 状态 。 
步骤 七 : 执行 测试 脚本 ,查看 测试 结果 。 


在 WinRunner 工具 栏 上 选择 由 Verify = 模式 ,选择 Test 菜单 中 的 Run From Top 选项 或 
直接 单 击 工 具 栏 上 的 4 From Top 按 钮 .测试 顺利 通过 并 显示 测试 结果 ,如 图 8-26 所 示 。 


[4$ Tea morer tinae checkat 
+Y Total rumber of GUI checkpoints 
A General Information 


fratan 


00.00.00 


[start GUI check 


1000002 


Jed GUI checkponlgut 


mm 


[stat GUI checkpon gu91 


1000002 


end GUI checkponlgu 1 


[oronoz 


[stop run jesample 2 


000002 


826 测试 结果 


WinRunner 测试 出 现 错误 的 时 候 是 什么 状态 呢 ? 

下 面 我 们 通过 修改 上 述 第 一 个 GUI 检查 点 的 Range 属性 来 观察 一 下 检查 点 发 现 错误 
的 过 程 。 

在 WinRunner 中 单 击 菜单 项 Insert Edit GUI Checklist. 打开 Open Checklist 对 话 
框 ,如 图 8-27 所 示 ,选择 list. ckl, 单 击 OK 按钮 。 

在 弹出 的 Edit GUI Checklist 窗口 中 双击 Range 属性 的 参数 3.. 5 打开 Range 属性 编 
辑 框 ,我 们 把 Range 属性 的 参数 修改 为 1 和 3, 如 图 8-28 所 示 , 单 击 OK 按钮 关闭 Edit GUI 
Checklist 窗口 。 


Enter Checklist Description: 


Checklist for window "Open Order" 


图 8-27 Open Checklist 对 话 框 图 8-28 Range 属性 编辑 框 


WinRunner 


^ Mismatch detected during GUI verification of "Open Order" 
indow. 


D 
[You can pause the test and view the test results now or continue. 
view them later. 


Bue 


图 8-29 测试 报错 


重新 执行 测试 脚本 ,测试 报错 ,弹出 如 图 8-29 所 示 的 报错 对 话 框 , 单 击 Continue 按钮 
完成 测试 ,测试 结果 如 图 8-30 所 示 。 

在 图 8-30 的 测试 结果 窗口 中 ,我 们 可 以 看 到 ,gui8 出 错 ,gui9 测试 成 功 ,gui8 的 出 错 原 
因 是 由 于 我 们 在 Order. No. 编辑 框 中 输入 的 数值 4 超出 了 给 定 的 数值 范围 [1 ,3]。 


2. 图 像 检 查 点 (Bitmap Checkpoint) 


应 用 程序 可 能 包含 位 图 区 ,比方 说 图 形 或 图 表 , 设 置 位 图 检查 点 (Bitmap Checkpoint) 
就 能 够 以 像素 为 单位 逐一 对 前 后 两 个 版 本 中 的 位 图 进行 比较 ,得 出 是 否 一 致 的 结果 。 

位 图 检查 点 通过 比较 捕获 位 图 图 像 的 像素 来 检查 应 用 程序 中 的 位 图 。 创 建 位 图 检查 点 
时 WinRunner 会 捕获 一 个 位 图 图 像 作为 预期 结果 ,并 在 测试 脚本 中 产生 obj_check_bitmap 
声明 , 当 捕 获 的 是 一 个 区 域 或 窗 体 时 ,产生 win check bitmap 声明 。 我 们 如 果 在 一 个 新 的 
版 本 中 运行 测试 ,WinRunner 就 会 将 预期 结果 的 位 图 和 应 用 程序 中 的 实际 位 图 相 比 较 , 两 
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F FinRunner Test Results — [D:\ 软 件 测试 教材 \ 第 8 章 \WinRunner 工 程 \exanple_2] 


AX gui 1 example 212] 
AY gui1 example. 2 (13) 
A General Information 


Time 
start run. 00:00:00 
start GUI checkpoint E 00:00:02 
end GUI checkpoint mismatch (00:00:15 
start GUI checkpoint |- (00:00:15 
end GUI checkpoint OK [00:00:15 
sopun —— 2. fa [000015 


8-30 测试 结果 


张 图 不 同 的 话 ,在 测试 结果 窗口 中 可 以 查看 到 不 同 的 图 片 。 

例如 ,在 一 个 应 用 程序 中 , 单 击 “清除 ”按钮 后 应 该 清空 某 一 位 图 区 域 。 我 们 录制 脚本 
时 ,在 单 击 “ 清 除 ” 按 钮 对 此 区 域 设置 位 图 检查 点 (记录 区 域 的 空白 状态 ) ,将 来 利用 这 一 脚本 
测试 新 版 本 的 应 用 程序 时 ,就 可 以 检查 “清除 ”按钮 的 功能 是 否 依旧 有 效 。 如 果 位 图 区 域 无 
法 被 清空 ,检查 结果 中 就 会 报错 。 

下 面 我 们 将 使 用 位 图 检查 点 来 测试 传真 订单 (Fax Order) 窗 口中 的 签名 功能 。 

步骤 一 : 启动 WinRunner fl Flight 4A。 

步骤 二 : 新 建 测试 工程 ,以 上 下 文 相关 模式 开始 录制 。 

在 WinRunner 中 新 建 测试 工程 example_3, 选择 Test 菜单 中 的 Record—> Context 
Sensitive 或 直接 单 击 工具 栏 中 的 才 Record 按 钮 进入 上 下 文 相关 录制 模式 。 

步骤 三 : 打开 6 号 订单 。 

在 Flight 4A 中 选择 菜单 项 File Open Order, 打 开 Open Order 窗口 , 勾 选 Order No. 
复 选 框 ,并 在 其 下 的 编辑 框 中 输入 6 , 单 击 OK 按钮 在 主 窗 口 打开 6 号 订单 ,如 图 8-31 所 示 。 

步骤 四 : 打开 传真 表单 。 

在 Flight 4A 中 选择 File Fax Order 菜单 项 ,打开 Fax Order 窗口 ,在 Fax Number 编 
辑 框 中 输入 (415)555-1234。 调 整 Fax Order 窗口 到 合适 的 位 置 ,为 下 面 的 模拟 模式 录制 做 
好 准备 。 

步骤 五 : 切换 到 模拟 模式 录制 签名 。 
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» Flight Reservation 


File Edit Analysis Help 


Belelle] 


Flight Schedule: 


Date of Fight Fiy From: 
Ipsa [LosAngees xi 


Order Information 
Fight No Departure Time: 


Name: 
[Joe Shmoe 


Class: 
C Fist — 6 Business — C Economy 


Update Order | Delete Order. 


图 8-31 6 号 订单 


单 击 F2 键 或 再 次 单 击 Record 按钮 ,转换 到 模拟 模式 下 。 注 意 Record 按钮 上 的 Rec 变 
为 红色 ,说明 现 在 工作 在 模拟 模式 下 。 使 用 鼠标 在 代理 签名 文本 框 中 签名 ,如 图 8-32 所 示 o 


Fax Order Ho. 6 PER 


Fax Number: 


[415]555-1234 


JV. Send Signature with order KE 


Preview Fax Send Cancel ü 
图 8-32 传真 订单 签名 


步骤 六 : 变 回 上 下 文 相 关 模 式 , 针 对 签名 插入 位 图 检查 点 。 

再 次 按 下 F2 gakeh TA E HY Record iÈ E. ,录制 模式 从 模拟 模式 切换 回 上 下 文 相 
KER. JF H @ Record 会 变 成 fli Record 。 选 择 Insert Bitmap Checkpoint—> For Object/ 
Window, 用 手 形 指针 双击 Fax Order 对 话 框 中 的 签名 框 。WinRunner 捕获 一 个 带 有 签名 
的 位 图 ,并 在 测试 脚本 中 插入 了 一 个 检查 点 ,可 以 在 脚本 中 看 到 一 个 obj check bitmap 的 


声明 。 
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步骤 七 : 清空 签名 。 

单 击 Fax Order 对 话 框 中 Clear Signature 按钮 清空 签名 框 。 

步 又 八 : 为 签名 框 创 建 另 一 个 位 图 检查 点 。 

在 WinRunner 主 窗 口中 ,选择 Insert7 Bitmap Checkpoint For Object/ Window ,用 手 
形 指针 双击 Fax Order 对 话 框 中 的 签名 框 。WinRunner 捕获 了 一 个 空白 位 图 ,并 在 测试 脚 
本 中 插入 一 个 obj check bitmap 声明 。 

步骤 八 : 取消 传真 ,停止 录制 ,保存 测试 。 

在 Fax Order 对 话 框 中 单 击 * 取 消 ?按钮 ,取消 传真 发 送 ; 在 WinRunner 中 结束 测试 脚 
本 录制 ,保存 测试 工程 example_2。 

如 果 工 作 在 Global GUI Map File 模式 下 ,要 向 GUI MAP 中 保存 新 对 象 。 选 择 
Tools>GUI Map Editor 打开 GUI MAP 编辑 器 ,在 其 中 选择 View 一 GUI Files. 注意 到 
LO — Temporary GUI MAP 文件 中 新 对 象 ( 如 果 不 存在 ,选择 View Expand Objects 
Tree)。 选 择 File Save, WinRunner 信息 对 话 框 通知 我 们 将 已 存在 窗口 中 的 新 对 象 添加 到 
flight4a. GUI 文件 中 。 单 击 Yes 按钮 。 又 一 新 窗口 对 话 框 打开 ,确认 flight4a. GUI 文件 在 
Loaded GUI Files 框 中 显示 , 单 击 OK 按钮 。 在 WinRunner 再 次 弹出 的 消息 对 话 框 中 确认 
flight4a. GUI 文件 改变 。 选 择 File Exit. EH] GUI MAP 编辑 器 。 

步骤 九 : 执行 测试 脚本 ,查看 预期 结果 。 

执行 测试 脚本 ,测试 结果 如 图 8-33 所 示 。 在 位 图 检查 点 列表 中 ,双击 选中 的 位 图 检查 
点 可 以 查看 对 应 的 位 图 捕获 事件 ,如 图 8-34 所 示 。 


| (yy) 


图 ylmg7.1 example, 2 (46) 
加 Ylmg8:1 example 2 (52) 
*Y Total number of GUI checkpoints: 
A General Information. 


Event Time 
start run 00.00.00 
bitmap checkpoint  |img71 - 00013 — — 
bitmap checkpoint 00:00:13 


stop run. 00:00:13 


8-33 测试 结果 


步骤 十 : 在 新 版 本 Flight 4B 中 运行 测试 。 

关闭 Flight 4A, 启动 Flight 4B 并 登录 (登录 密码 为 mercury), 将 Flight 4B 和 
WinRunner 重新 排放 ,使 它们 在 桌面 上 同时 可 见 。 在 WinRunner 中 打开 测试 工程 example 2. 
其 测试 运行 处 于 Verify 模式 。 

Jd DR gi From Top 按钮 ,或 选择 Test Run from Top 菜单 项 从 头 开 始 执 
行 测试 脚本 。 如 果 在 位 图 检查 点 有 不 匹配 的 情况 出 现 ,在 WinRunner 消息 对 话 框 单 击 
Continue 按钮 ,如 图 8-35 所 示 。 


m Inc7. b»... DOR) A Mismatch detected during bitmap verification. 


Image name: "Img8:1" 


< LJ Object name: "(stalic]" 
Pawe 


图 8-34 第 一 个 位 图 检查 点 内 容 图 8-35 ”检查 点 发 现 错误 


当 测 试 运行 结束 后 ,测试 结果 自动 显示 在 测试 结果 窗口 中 。 由 于 在 版 本 4B 中 单 击 清 
空 签名 按钮 时 ,并 没有 清空 签名 ,所 以 测试 失败 。 双 击 红色 的 位 图 检查 点 事件 ,查看 到 预期 
结果 和 实际 检测 结果 及 不 匹配 的 位 图 ,如 图 8-36 所 示 。 


FÌ WinRunner Test Results - [d:\ 软 件 测试 款 材 \ 第 8 章 \¥inRunner 工 程 \exanple_2] 
Kd Ele Optons Toos Widow 
ig; resl2 


Ev lmg7:1 exarple : 
lx Img8:1 example 2 (52) 
+Y Total number of GUI checkpoints: 
A General Information. 


Event 
start run 


bitmap checkpoint 


bitmap checkpoint 


stop run 


图 8-36 Flight 4B 测试 结果 
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3. 文字 检查 点 (Text Checkpoint) 


使 用 WinRunner 提供 的 文本 检查 点 功能 ,可 以 读 取 图 像 和 非 标准 GUI 对 象 上 的 文字 ， 
然后 通过 手动 撰写 测试 脚本 来 检查 文字 是 否 正确 。 

使 用 文本 检查 点 能 够 实现 如 下 功能 : 

。 验证 某 个 值 是 否 在 一 定 范围 内 。 

。 计算 数值 是 否 正确 。 

。 当 某 个 指定 的 文字 出 现在 画面 上 时 ,就 执行 某 些 动作 。 

当 用 户 针 对 要 读 取 文 字 的 区 域 , 对 象 或 窗口 建立 文本 检查 点 时 , WinRunner 会 用 win 
get text 或 obj_get_text 函数 读 取 文字 ,并 将 读 取 到 的 文字 存储 到 指定 变量 中 ,然后 测试 人 
员 手 动 编写 测试 脚本 ,检查 变量 中 的 文字 是 否 为 预期 文字 。 

这 里 需要 注意 的 是 , 当 测 试 人 员 要 去 验证 标准 的 GUI 对 象 (按钮 编辑 框 、 选 择 框 等 ) 上 
的 文字 时 ,应 该 使 用 GUI 检查 点 ,这 样 做 的 话 就 不 用 再 去 手动 添加 测试 脚本 了 。 


4. 数据 库 检 查 点 (Database Checkpoint) 


通过 为 用 户 创 建 的 查询 设置 数据 库 检查 点 (Database Checkpoint), 可 以 对 返回 数据 库 
表 中 的 一 些 诸如 表 行 列 数 .主键 .数据 内 容 做 检查 。 创 建 数据 库 检查 点 有 3 种 方式 : Default 
Check,Custom Check 和 Runtime Record Check, 并 且 数 据 库 检 查 点 需要 和 Microsoft 
Query(Office 中 的 一 个 组 件 ) 配 合 使 用 。 


8.2.5 同步 点 


执行 测试 时 ,被 测试 应 用 程序 每 次 操作 的 响应 时 间 并 不 固定 ,这 样 输入 动作 的 执行 经 常 
需要 等 待 。 例 如 ,以 下 的 动作 通常 会 花费 几 秒 钟 的 时 间 : 

。 从 数据 库 读 取 数 据 。 

。 等 待 一 个 窗口 开启 。 

。 等 待 某 个 状态 信息 出 现 。 

遇 到 这 种 情况 , WinRunner 会 等 待 一 段 固 定时 间 ,直到 应 用 程序 接收 输入 动作 ,这 个 等 
待 时 间 默 认为 10s。 如 果 应 用 程序 响应 的 时 间 超 过 WinRunner 等 待 的 时 间 ,测试 执行 就 可 
能 失败 。 

这 种 情况 有 两 种 方式 来 解决 ,一 种 是 增加 WinRunner 的 等 待 时 间 ,这 样 的 话 测试 执行 
会 变 得 很 慢 ; 另 一 种 就 是 在 测试 脚本 中 输入 同步 点 (Synchronization Point) , 当 WinRunner 
执行 到 同步 点 时 会 暂停 执行 ,等 待 应 用 程序 的 某 些 状态 改变 后 再 继续 执行 。 这 种 方法 灵活 
方便 ,在 测试 过 程 中 经 常 被 用 到 。 


本 章 主 要 讲解 了 自动 化 功能 测试 的 基本 内 容 , 功 能 测试 的 一 般 解决 方案 和 网 站 功能 测 
试 方案 。 功 能 测试 工具 本 章 选 取 了 目前 流行 的 Mercury Interactive 公司 的 WinRunner 8.0, 本 


第 8 章 ”功能 测试 实施 
章 重点 介绍 了 这 两 个 工具 的 基本 用 法 和 具体 操作 案例 。 
习题 
— 


l. 简 述 WinRunner 进行 功能 测试 的 流程 。 

2. 请 总 结 WinRunner 和 QuickTest Professional 的 区 别 和 联系 。 

3. 简 述 QuickTest Professional 进行 功能 测试 的 流程 。 

4. 请 读者 自行 寻找 合适 的 小 型 软件 或 网 站 , 利用 WinRunner 和 QuickTest 
Professional 实施 自动 化 功能 测试 并 分 析 测 试 结果 。 


性 能 测试 实施 | 


本 章 主要 介绍 性 能 测试 的 基本 知识 ,给 出 性 能 测试 的 具体 实施 方案 。 本 章 首先 介绍 了 
性 能 测试 的 内 容 、 实 施 步骤 和 策略 以 及 全 面 性 能 测试 模型 的 概念 ; 其 次 讲解 了 著名 性 能 测 
RLF LoadRunner 的 主要 功能 、 操 作 过 程 和 测试 实践 。 

FERA: 

。 性 能 测试 内 容 。 

。 性 能 测试 步骤 。 

。 全 面 性 能 测试 模型 。 

。 应 用 LoadRunner 实施 性 能 测试 。 


6.1 性 能 测试 概述 


随 着 应 用 软件 用 户 负载 的 增加 和 愈 来 愈 复杂 的 应 用 环境 ,用 户 的 响应 速度 .系统 的 安全 
运行 等 性 能 问题 逐渐 成 为 软件 系统 必须 考虑 的 指标 之 一 。 性 能 测试 通常 使 用 自动 化 测试 工 
具 完 成 ,自动 化 测试 工具 能 模拟 多 种 正常 .峰值 以 及 异常 负载 条 件 来 对 系统 的 各 项 性 能 指标 
进行 测试 ,检测 软件 是 否 达到 用 户 提出 的 性 能 指标 ,及 时 发 现 软件 系统 中 存在 的 瓶颈 ,最 终 
起 到 优化 系统 的 目的 。 


9.1.1 性 能 测试 内 容 


性 能 测试 在 软件 的 质量 保证 中 起 着 重要 的 作用 , 它 包 括 的 测试 内 容 丰 富 多 样 。 中 国 软 
件 评测 中 心 将 性 能 测试 概括 为 3 个 方面 : 客户 端 性 能 测试 、 网 络 性 能 测试 和 服务 器 端 性 能 


1. 客户 端 性 能 测试 


客户 端 性 能 测试 的 目的 是 考察 客户 端 应 用 的 性 能 ,测试 的 入 口 是 客 户 端 。 它 主要 包括 
并 发 性 能 测试 ,疲劳 强度 测试 .大 数据 量 测试 和 速度 测试 等 ,其 中 并 发 性 能 测试 是 重点 。 

1) 并 发 性 能 测试 

并 发 性 能 测试 的 过 程 是 一 个 负载 测试 和 压力 测试 的 过 程 , 即 逐渐 增加 负载 ,直到 系统 的 
瓶颈 或 者 不 能 接收 的 性 能 点 ,通过 综合 分 析 交 易 执 行 指标 和 资源 监控 指标 来 确定 系统 并 发 
性 能 的 过 程 。 负 和 载 测试 (Load Testing) 是 确定 在 各 种 工作 负载 下 系统 的 性 能 ,目标 是 测试 
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当 负 载 逐 渐 增加 时 ,系统 组 成 部 分 的 相应 输出 项 ,如 通过 量 、 响 应 时 间 、CPU 负载 .内 存 使 用 
等 来 决定 系统 的 性 能 。 负 和 载 测 试 是 一 个 分 析 软 件 应 用 程序 和 支撑 架构 ,模拟 真实 环境 的 使 
用 ,从 而 来 确定 能 够 接收 的 性 能 过 程 。 压 力 测 试 (Stress Testing) 是 通过 确定 一 个 系统 的 瓶 
颈 或 者 不 能 接收 的 性 能 点 ,来 获得 系统 能 提供 的 最 大 服务 级 别 的 测试 。 

并 发 性 能 测试 的 目的 主要 体现 在 3 个 方面 : 以 真实 的 业务 为 依据 ,选择 有 代表 性 的 、 关 
键 的 业务 操作 设计 测试 案例 ,以 评价 系统 的 当前 性 能 ; 当 扩展 应 用 程序 的 功能 或 者 新 的 应 
用 程序 将 要 被 部 署 时 ,负载 测试 会 帮助 确定 系统 是 否 还 能 够 处 理 期 望 的 用 户 负载 ,以 预测 系 
统 的 未 来 性 能 ; 通过 模拟 成 百 上 千 个 用 户 ,重复 执行 和 运行 测试 ,可 以 确认 性 能 瓶颈 并 优化 
和 调整 应 用 ,目的 在 于 寻找 到 瓶颈 问题 。 

当 一 家 企业 自己 组 织 力量 或 委托 软件 公司 代为 开发 一 套 应 用 系统 的 时 候 , 尤 其 是 以 后 
在 生产 环境 中 实际 使 用 起 来 ,用 户 往往 会 产生 疑问 ,这 套 系统 能 不 能 承受 大 量 的 并 发 用 户 同 
时 访问 ?这 类 问题 最 常见 于 采用 联机 事务 处 理 (On-Line Transaction Processing. OLTP) 7r 
式 数 据 库 应 用 、Web 浏览 和 视频 点 播 等 系统 。 这 种 问题 的 解决 要 借助 于 科学 的 软件 测试 手 
段 和 先进 的 测试 工具 。 

举例 : 电信 计 费 软件 。 

众所周知 ,每 月 20 日 左右 是 市 话 交 费 的 高 峰 期 ,全 市 几 千 个 收费 网 点 同时 启动 。 收 费 
过 程 一 般 分 为 两 步 ,首先 要 根据 用 户 提出 的 电话 号 码 查询 出 其 当月 产生 费用 ,然后 收取 现金 
并 将 此 用 户 修改 为 已 交 费 状态 。 一 个 用 户 看 起 来 简单 的 两 个 步骤 ,但 当成 百 上 千 的 终端 , 同 
时 执行 这 样 的 操作 时 ,情况 就 大 不 一 样 了 ,如 此 众多 的 交易 同时 发 生 , 对 应 用 程序 本 身 、 操 作 
系统 ,中心 数据 库 服务 器 .中 间 件 服务 器 .网络 设备 的 承受 力 都 是 一 个 严峻 的 考验 。 决 策 者 
不 可 能 在 发 生 问题 后 才 考虑 系统 的 承受 力 , 预见 软件 的 并 发 承受 力 , 这 是 在 软件 测试 阶段 
就 应 该 解决 的 问题 。 

目前 ,大 多 数 公司 企业 需要 支持 成 百 上 千 名 用 户 , 各 类 应 用 环境 以 及 由 不 同 供应 商 提供 
的 元 件 组 装 起 来 的 复杂 产品 ,难以 预知 的 用 户 负 载 和 愈 来 愈 复杂 的 应 用 程序 ,使 公司 担忧 会 
发 生 投 放 性 能 差 , 用 户 遭 受 反应 慢 、 系 统 失灵 等 问题 ,其 结果 就 是 导致 公司 收益 的 损失 。 

如 何 模拟 实际 情况 呢 ? 找 若 干 台 电脑 和 同样 数目 的 操作 人 员 在 同一 时 刻 进 行 操作 , 然 
后 拿 秒 表 记 录 下 反应 时 间 ? 这 样 的 手工 作坊 式 的 测试 方法 不 切实 际 , 且 无 法 捕捉 程序 内 部 
的 变化 情况 ,这 样 就 需要 压力 测试 工具 的 辅助 。 

测试 的 基本 策略 是 自动 负载 测试 ,通过 在 一 台 或 几 台 PC 上 模拟 成 百 或 上 千 的 虚拟 用 
户 同 时 执行 业务 的 情景 ,对 应 用 程序 进行 测试 ,同时 记录 下 每 一 事务 处 理 的 时 间 、 中 间 件 服 
务 器 峰值 数据 数据 库 状 态 等 。 通 过 可 重复 的 、 真 实 的 测试 能 够 彻底 地 度量 应 用 的 可 扩展 性 
和 性 能 ,确定 问题 所 在 以 及 优化 系统 性 能 。 预 先知 道 了 系统 的 承受 力 , 就 为 最 终 用 户 规划 整 
个 运行 环境 的 配置 提供 了 有 力 的 依据 。 

2) 并 发 性 能 测试 前 的 准备 工作 

CD 测试 环境 : 配置 测试 环境 是 测试 实施 的 一 个 重要 阶段 ,测试 环境 的 适合 与 否 会 严 
重 影 响 测 试 结 果 的 真实 性 和 正确 性 。 测 试 环境 包括 硬件 环境 和 软件 环境 ,硬件 环境 指 测试 
必需 的 服务 器 .客户 端 .网 络 连接 设备 以 及 打印 机 /扫描 仪 等 辅助 硬件 设备 所 构成 的 环境 ; 
软件 环境 指 被 测 软件 运行 时 的 操作 系统 ,数据库 及 其 他 应 用 软件 构成 的 环境 。 

一 个 充分 准备 好 的 测试 环境 有 3 个 优点 : 一 个 稳定 、 可 重复 的 测试 环境 ,能 够 保证 测试 
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结果 的 正确 ; 保证 达到 测试 执行 的 技术 需求 ; 保证 得 到 正确 的 、 可 重复 的 以 及 易 理 解 的 测 
试 结果 。 

D 测试 工具 : 并 发 性 能 测试 是 在 客户 端 执 行 的 黑 盒 测试 ,一 般 不 采用 手工 方式 ,而 是 
利用 工具 采用 自动 化 方式 进行 。 目 前 ,成 熟 的 并 发 性 能 测试 工具 有 很 多 ,选择 的 依据 主要 是 
测试 需求 和 性 能 价格 比 。 著 名 的 并 发 性 能 测试 工具 有 QALoad, LoadRunner, Benchmark 
Factory 和 Webstress 等 。 这 些 测 试 工具 都 是 自动 化 负载 测试 工具 ,通过 可 重复 的 、 真 实 的 
测试 ,能 够 彻底 地 度量 应 用 的 可 扩展 性 和 性 能 ,可 以 在 整个 开发 生命 周期 跨越 多 种 平台 自动 
执行 测试 任务 ,可 以 模拟 成 百 上 千 的 用 户 并 发 执行 关键 业务 而 完成 对 应 用 程序 的 测试 。 

(3) 测试 数据 : 在 初始 的 测试 环境 中 需要 输入 一 些 适当 的 测试 数据 ,目的 是 识别 数据 
状态 并 且 验 证 用 于 测试 的 测试 案例 ,在 正式 的 测试 开始 以 前 对 测试 案例 进行 调试 ,将 正式 测 
试 开始 时 的 错误 降 到 最 低 。 在 测试 进行 到 关键 过 程 环节 时 ,非常 有 必要 进行 数据 状态 的 备 
份 。 制 造 初始 数据 意味 着 将 合适 的 数据 存储 下 来 ,需要 的 时 候 恢 复 它 ,初始 数据 提供 了 一 个 
基线 用 来 评估 测试 执行 的 结果 。 

在 测试 正式 执行 时 ,还 需要 准备 业务 测试 数据 ,比如 测试 并 发 查询 业务 ,那么 要 求 对 应 
的 数据 库 和 表 中 有 相当 的 数据 量 以 及 数据 的 种 类 ,这 些 数据 应 能 覆盖 全 部 业务 。 

模拟 真实 环境 测试 ,有 些 软件 ,特别 是 面向 大 众 的 商品 化 软件 ,在 测试 时 常常 需要 考察 
在 真实 环境 中 的 表现 ,如 测试 杀毒 软件 的 扫描 速度 时 ,硬盘 上 布置 的 不 同类 型 文件 的 比例 要 
尽量 接近 真实 环境 ,这 样 测试 出 来 的 数据 才 有 实际 意义 。 

3) 并 发 性 能 测试 的 种 类 与 指标 

并 发 性 能 测试 的 种 类 取决 于 并 发 性 能 测试 工具 监控 的 对 象 , 以 QALoad 自动 化 负载 测 
试 工 具 为 例 。 软 件 针对 各 种 测试 目标 提供 了 DB2, DCOM, ODBC, ORACLE, NETLoad, 
Corba, QARun, SAP,SQLServer, Sybase, Telnet, TUXEDO, UNIFACE, WinSock, WWW, 
JavaScript 等 不 同 的 监控 对 象 ,支持 Windows 和 UNIX 测试 环境 。 

最 关键 的 仍然 是 测试 过 程 中 对 监控 对 象 的 灵活 应 用 ,例如 目前 三 层 结构 的 运行 模式 广 
泛 使 用 ,对 中 间 件 的 并 发 性 能 测试 作为 问题 被 提 到 议事 日 程 上 来 ,许多 系统 都 采用 了 国产 中 
间 件 ,选择 JavaScript 监控 对 象 , 手 工 编写 脚本 ,可 以 达到 测试 目的 。 

采用 自动 化 负载 测试 工具 执行 的 并 发 性 能 测试 ,基本 遵循 的 测试 过 程 有 : 测试 需求 与 
测试 内 容 ,测试 案例 制订 ,测试 环境 准备 ,测试 脚本 录制 .编写 与 调试 ,脚本 分 配 .回放 配置 与 
加 载 策略 ,测试 执行 跟踪 ,结果 分 析 与 定位 问题 所 在 ,测试 报告 与 测试 评估 。 

并 发 性 能 测试 监控 的 对 象 不 同 ,测试 的 主要 指标 也 不 相同 ,主要 的 测试 指标 包括 交易 处 
理性 能 指标 和 UNIX 资源 监控 。 其 中 ,交易 处 理性 能 指标 包括 交易 结果 、 每 分 钟 交易 数 、 交 
易 响 应 时 间 (Min: 最 小 服务 器 响应 时 间 ; Mean: 平均 服务 器 响应 时 间 ; Max: 最 大 服务 器 
响应 时 间 ; StdDev: 事务 处 理 服 务 器 响应 的 偏差 , 值 越 大 ,偏差 越 大 ; Median: 中 值 响应 时 
间 ; 9026; 90% 事 务 处 理 的 服务 器 响应 时 间 )、 虚 拟 并 发 用 户 数 。 

应 用 实例 :“ 新 华 社 多 媒体 数据 库 V 1. 0" 性 能 测试 

中 国 软 件 评 测 中心 (CSTC) 根 据 新 华 社 技术 局 提出 的 (多 媒体 数据 库 ( 一 期 ) 性 能 测试 
TERJA GB/T 17544《 软 件 包 质量 要 求 和 测试 ) 的 国家 标准 ,使 用 工业 标准 级 负载 测试 工具 
对 新 华 社 使 用 的 “新 华 社 多 媒体 数据 库 V 1. 0? 进 行 了 性 能 测试 。 

性 能 测试 的 目的 是 模拟 多 用 户 并 发 访问 新 华 社 多 媒体 数据 库 ,执行 关键 检索 业务 ,分析 
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系统 性 能 。 

性 能 测试 的 重点 是 针对 系统 并 发 压力 负载 较 大 的 主要 检索 业务 ,进行 并 发 测试 和 疲劳 
测试 ,系统 采用 B/S 运行 模式 。 并 发 测试 设计 了 特定 时 间 段 内 分 别 在 中 文库 、 英 文库 、 图 片 
库 中 进行 单 检索 词 .多 检索 词 以 及 变 检索 式 ,混合 检索 业务 等 并 发 测试 案例 。 疲 劳 测试 案例 
为 在 中 文库 中 并 发 用 户 数 200, 进 行 测试 周期 约 Sh 的 单 检 索 词 检索 。 在 进行 并 发 和 疲劳 测 
试 的 同时 ,监测 的 测试 指标 包括 交易 处 理性 能 以 及 UNIX Linux) „Oracle, Apache 资源 等 。 

测试 结论 : 在 新 华 社 机 房 测 试 环境 和 内 网 测试 环境 中 ,100MB 带宽 情况 下 ,针对 规定 
的 各 并 发 测试 案例 ,系统 能 够 承受 并 发 用 户 数 为 200 的 负载 压力 ,最 大 交易 数 /分 钟 达到 
78. 73 ,运行 基本 稳定 ,但 随 着 负载 压力 增 大 ,系统 性 能 有 所 衰减 。 

系统 能 够 承受 200 并 发 用 户 数 持续 周期 约 8h 的 疲劳 压力 ,基本 能 够 稳定 运行 。 

通过 对 系统 UNIX(Linux) „Oracle 和 Apache 资源 的 监控 ,系统 资源 能 够 满足 上 述 并 发 
和 疲劳 性 能 需求 , 且 系 统 硬件 资源 尚 有 较 大 利用 余地 。 

当 并 发 用 户 数 超过 200 时 ,监控 到 HTTP 500、Connect 和 超时 错误 , 且 Web 服务 器 报 
内 存 溢出 错误 ,系统 应 进一步 提高 性 能 ,以 支持 更 大 并 发 用 户 数 。 

建议 进一步 优化 软件 系统 ,充分 利用 硬件 资源 ,缩短 交易 响应 时 间 。 

4) 疲劳 强度 与 大 数据 量 测试 

疲劳 测试 是 采用 系统 稳定 运行 情况 下 能 够 支持 的 最 大 并 发 用 户 数 , 持 续 执行 一 段 时 间 
业务 ,通过 综合 分 析 交 易 执 行 指标 和 资源 监控 指标 来 确定 系统 处 理 最 大 工作 量 强度 性 能 的 
过 程 。 

疲劳 强度 测试 可 以 采用 工具 自动 化 的 方式 进行 测试 ,也 可 以 手工 编写 程序 测试 ,其 中 后 
者 占 的 比例 较 大 。 

一 般 情况 下 以 服务 器 能 够 正常 稳定 响应 请 求 的 最 大 并 发 用 户 数 进行 一 定时 间 的 疲劳 测 
试 ,获取 交易 执行 指标 数据 和 系统 资源 监控 数据 。 如 出 现 错误 导致 测试 不 能 成 功 执行 , 则 及 
时 调整 测试 指标 ,例如 降低 用 户 数 ,缩短 测试 周期 等 。 还 有 一 种 情况 的 疲劳 测试 是 对 当前 系 
统 性 能 的 评估 ,用 系统 正常 业务 情况 下 并 发 用 户 数 为 基础 ,进行 一 定时 间 的 疲劳 测试 。 

大 数据 量 测试 可 以 分 为 两 种 类 型 : 针对 某 些 系 统 存储 \ 传 输 , 统 计 、 查 询 等 业务 进行 大 
数据 量 的 独立 数据 量 测试 ; 与 压力 性 能 测试 .负载 性 能 测试 .疲劳 性 能 测试 相 结合 的 综合 数 
据 量 测试 方案 。 大 数据 量 测试 的 关键 是 测试 数据 的 准备 ,可 以 依靠 工具 准备 测试 数据 。 

速度 测试 目前 主要 是 针对 关键 有 速度 要 求 的 业务 进行 手工 测速 度 , 可 以 在 多 次 测试 的 
基础 上 求 平 均值 ,可 以 和 工具 测 得 的 响应 时 间 等 指标 做 对 比分 析 。 


2. 应 用 在 网 络 上 性 能 的 测试 


应 用 在 网 络 上 性 能 的 测试 重点 是 利用 成 熟 先 进 的 自动 化 技术 进行 网 络 应 用 性 能 监控 、 
网 络 应 用 性 能 分 析 和 网 络 预测 。 

1) 网 络 应 用 性 能 分 析 

网 络 应 用 性 能 分 析 的 目的 是 准确 展示 网 络 带宽 、 延 迟 .负载 和 TCP 端口 的 变化 是 如 何 
影响 用 户 的 响应 时 间 的 。 利 用 网 络 应 用 性 能 分 析 工 具 , 例 如 Application Expert, 能 够 发 现 
应 用 的 瓶颈 ,我 们 可 知 应 用 在 网 络 上 运行 时 在 每 个 阶段 发 生 的 应 用 行为 ,在 应 用 线程 级 分 析 
应 用 的 问题 。 可 以 解决 多 种 问题 : 客户 端 是 否 对 数据 库 服 务 器 运行 了 不 必要 的 请 求 ? 当 服 
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务 器 从 客户 端 接受 了 一 个 查询 ,应 用 服务 器 是 否 花 费 了 不 可 接受 的 时 间 联 系数 据 库 服务 器 ? 
在 投产 前 预测 应 用 的 响应 时 间 ; 利用 Application Expert 调整 应 用 在 广域网 上 的 性 能 ; 
Application Expert 能 够 让 你 快速 ,容易 地 仿真 应 用 性 能 ,根据 最 终 用 户 在 不 同 网 络 配 置 环 
境 下 的 响应 时 间 , 用 户 可 以 根据 自己 的 条 件 决定 应 用 投产 的 网 络 环境 。 

2) 网 络 应 用 性 能 监控 

在 系统 试 运行 之 后 ,需要 及 时 准确 地 了 解 网 络 上 正在 发 生 什么 事情 : 什么 应 用 在 运行 ， 
如 何 运行 ; 多 少 PC 正在 访问 LAN 或 WAN; 哪些 应 用 程序 导致 系统 瓶颈 或 资源 竞争 。 这 
时 网 络 应 用 性 能 监控 以 及 网 络 资源 管理 对 系统 的 正常 稳定 运行 是 非常 关键 的 。 利 用 网 络 应 
用 性 能 监控 工具 ,可 以 达到 事半功倍 的 效果 ,在 这 方面 我 们 可 以 提供 的 工具 是 Network 
Vantage。 通 俗 地 讲 , 它 主要 用 来 分 析 关键 应 用 程序 的 性 能 ,定位 问题 的 根源 是 在 客户 端 、 
服务 器 ` 应 用 程序 还 是 网 络 。 在 大 多 数 情况 下 用 户 较 关心 的 问题 还 有 哪些 应 用 程序 占用 大 
量 带宽 ,哪些 用 户 产 生 了 最 大 的 网 络 流量 ,这 个 工具 同样 能 满足 要 求 。 

3) 网 络 预测 

考虑 到 系统 未 来 发 展 的 扩展 性 ,预测 网 络 流量 的 变化 、 网 络 结构 的 变化 对 用 户 系 统 的 影 
响 非 常 重要 。 根 据 规 划 数据 进行 预测 并 及 时 提供 网 络 性 能 预测 数据 。 我 们 利用 网 络 预测 分 
析 容 量规 划 工 具 PREDICTOR 可 以 做 到 : 设置 服务 水 平 、 完 成 日 网 络 容量 规划 、 离 线 测 试 
网 络 、 网 络 失效 和 容量 极限 分 析 、 完 成 日 常 故 障 诊断 、 预 测 网 络 设 备 迁 移 和 网 络 设备 升 级 对 
整个 网 络 的 影响 。 

从 网 络 管理 软件 获取 网 络 拓扑 结构 .从 现 有 的 流量 监控 软件 获取 流量 信息 ( 若 没 有 这 类 
软件 可 人 工 生成 流量 数据 ) ,这 样 可 以 得 到 现 有 网 络 的 基本 结构 。 在 基本 结构 的 基础 上 ,可 
以 根据 网 络 结构 的 变化 、 网 络 流量 的 变化 生成 报告 和 图 表 , 说 明 这 些 变 化 是 如 何 影 响 网 络 性 
能 的 。 PREDICTOR 提供 如 下 信息 : 根据 预测 的 结果 帮助 用 户 及 时 升级 网 络 ,避免 因 关键 
设备 超过 利用 阔 值 导致 系统 性 能 下 降 ; 哪个 网 络 设备 需要 升级 ,这 样 可 减少 网 络 延 迟 .避免 
网 络 瓶 颈 ; 根据 预测 的 结果 避免 不 必要 的 网 络 升级 。 


3. 应 用 在 服务 器 上 性 能 的 测试 


对 于 应 用 在 服务 器 上 性 能 的 测试 ,可 以 采用 工具 监控 ,也 可 以 使 用 系统 本 身 的 监控 命 
令 。 实 施 测试 的 目的 是 实现 服务 器 设备 、 服 务 器 操作 系统 、 数 据 库 系统 、 应 用 在 服务 器 上 性 
能 的 全 面 监控 , 表 9-1 给 出 了 UNIX 环境 中 部 分 资源 监控 指标 的 情况 。 


表 9-1 UNIX 资源 监控 指标 和 描述 


监控 指标 描 述 
平均 负载 系统 正常 状态 下 ,最 后 60s 同步 进程 的 平均 个 数 
冲突 率 在 以 太 网 上 监测 到 的 每 秒 冲突 数 
进程 /线程 交换 率 进程 和 线程 之 间 每 秒 交换 次 数 
CPU 利用 率 CPU 占用 率 (%) 
磁盘 交换 率 磁盘 交换 速率 
接收 包 错误 率 接收 以 太 网 数据 包 时 每 秒 错误 数 
包 输 入 率 每 秒 输入 的 以 太 网 数据 包 数 目 


中 断 速率 CPU 每 秒 处 理 的 中 断 数 
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续 表 
监控 指标 do x 
输出 包 错 误 率 发 送 以 太 网 数据 包 时 每 秒 错误 数 
包 输入 率 每 秒 输出 的 以 太 网 数据 包 数 目 
读 人 内 存 页 速率 物理 内 存 中 每 秒 读 人 内 存 页 的 数目 
写 出 内 存 页 速率 每 秒 从 物理 内 存 中 写 到 页 文件 中 的 内 存 页 数目 或 者 从 物理 
内 存 中 删 掉 的 内 存 页 数目 
内 存 页 交换 速率 每 秒 写 人 内 存 页 和 从 物理 内 存 中 读 出 页 的 个 数 
进程 人 交换 率 交换 区 输入 的 进程 数目 
进程 出 交换 率 交换 区 输出 的 进程 数目 
系统 CPU 利用 率 系统 的 CPU 占用 率 (%) 
RIP CPU 利用 率 用 户 模式 下 的 CPU 占用 率 (%) 
磁盘 阻塞 磁盘 每 秒 阻塞 的 字 节 数 


9.1.2 性 能 测试 过 程 
1. 性 能 测试 步骤 


虽然 性 能 测试 面 对 不 同 的 工程 和 项 目 , 所 选用 的 度量 .评估 方法 也 有 不 同 之 处 ,但 仍然 
有 一 些 通用 的 步骤 可 以 帮助 我 们 完成 一 个 性 能 测试 项 目 。 大 致 步骤 有 7 个 。 

1) 制定 目标 和 分 析 系统 

性 能 测试 项 目 首先 要 求 我 们 要 明确 测试 的 目标 ,尽快 掌握 系统 构成 ,这 样 才能 确定 测试 
范围 ,清晰 测试 技术 类 型 。 一 般 来 讲 , 测 试 的 目标 由 系统 的 需求 决定 ,而 需求 又 分 为 : 客户 
需求 和 期 望 .实际 业务 需求 和 系统 需求 。 测 试 人 员 要 制订 一 个 满足 各 项 需求 的 测试 目标 ,为 
后 面 的 测试 工作 提供 方向 指引 。 

分 析 被 测试 系统 我 们 可 以 从 以 下 几 个 方面 人 手 : 系统 类 别 、 系 统 构 成 和 系统 功能 。 了 
解 这 些 内 容 的 本 质 其 实 是 帮助 我 们 明确 测试 的 范围 ,选择 适当 的 测试 方法 来 进行 测试 。 

系统 类 别 。 搞 清楚 系统 类 别 是 我 们 掌握 什么 样 的 测试 技术 的 前 提 , 掌 握 相应 技术 做 性 
能 测试 才 可 能 成 功 。 例 如 ,系统 类 别 是 B/S(Browse/Server) 结 构 , 那 么 测试 人 员 就 要 掌握 
服务 器 技术 .脚本 技术 、 网 页 制作 技术 ,数据库 技术 等 。 如 果 是 一 个 C/S(Client/Server) 4 
构 , 可 能 要 了 解 操作 系统 类 型 .API 接口 .COM 等 内 容 。 所 以 明确 系统 类 别 对 于 我 们 来 说 
很 重要 ,B/S? C/S? Windows? Linux? Apache? IIS? +++ 

系统 构成 。 硬 件 设置 .操作 系统 设置 是 性 能 测试 的 制约 条 件 ,一 般 性 能 测试 都 是 利用 测 
试 工具 模仿 大 量 的 实际 用 户 操作 ,系统 在 超 负荷 情形 下 运作 。 在 不 同系 统 构成 条 件 下 进行 
性 能 测试 ,会 得 到 不 同 的 结果 。 

系统 功能 。 系 统 功能 指 系统 提供 的 不 同 子 系统 ,办 公 管 理 系统 中 的 公文 子 系统 ,会议 子 
系统 等 ,系统 功能 是 性 能 测试 中 要 模拟 的 环节 ,了 解 这 些 是 必要 的 。 

2) 选择 测试 度量 的 方法 

完成 第 一 步 后 ,测试 人 员 将 会 对 系统 有 清晰 的 认识 。 接 下 来 我 们 将 把 精力 放 在 软件 度 
量 上 ,收集 系统 相关 的 数据 。 究 竟 什 么 才 是 对 的 ? 谁 来 进行 测试 过 程 监督 ? 发 现 问题 后 怎 
么 处 理 ? …… ,这 些 问题 都 要 在 这 里 进行 解决 。 制 订 测 试 度量 的 目的 就 是 要 对 测试 的 过 程 、 
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结果 、 问 题 等 各 个 方面 进行 全 方位 的 监督 。 测 试 度量 方法 的 好 与 坏 将 决定 后 期 测试 过 程 其 
至 测试 结果 的 质量 。 

3) 学 习 相关 的 技术 和 工具 

性 能 测试 主要 通过 自动 化 测试 工具 来 进行 ,测试 执行 过 程 中 自动 化 工具 要 模拟 大 量 用 
户 操作 ,对 系统 增加 负载 。 因 此 ,测试 人 员 需 要 熟练 掌握 自动 化 工具 的 用 法 才能 进行 性 能 
测试 。 

由 于 各 种 性 能 测试 工具 还 存在 一 定 的 差异 性 ,开展 性 能 测试 需要 对 各 种 性 能 测试 工具 
进行 评估 ,只 有 经 过 工具 评估 ,才能 选择 符合 现 有 软件 架构 的 性 能 测试 工具 。 确 定 测 试 工具 
后 ,需要 组 织 测试 人 员 进 行 工 具 的 学 习 , 培 训 相 关 技术 。 

4) 制订 评估 标准 

任何 测试 的 目的 都 是 要 确保 软件 符合 预先 规定 的 目标 和 要 求 ,性 能 测试 也 不 例外 ,所 以 
必须 制订 一 套 标准 。 通 常 性 能 测试 有 4 种 模型 技术 可 用 于 评估 : 

。 线性 投射 : 用 大 量 过 去 的 .扩展 的 或 者 将 来 可 能 发 生 的 数据 组 成 散布 图 ,利用 这 个 

图 表 不 断 和 系统 的 当前 状况 对 比 。 

。 分 析 模 型 : 用 排队 论 公 式 和 算法 预测 响应 时 间 ,利用 描述 工作 量 的 数据 和 系统 本 质 

关联 起 来 。 

。 模仿 : 模仿 实际 用 户 的 使 用 方法 测试 系统 。 

。 基准 : 定义 测试 和 你 最 初 的 测试 作为 标准 ,利用 它 和 所 有 后 来 进行 的 测试 结果 进行 

对 比 。 

5) 设计 测试 用 例 

设计 测试 用 例 是 在 了 解 软件 业务 流程 的 基础 上 进行 的 ,设计 测试 用 例 的 原则 是 以 最 小 
的 代价 获取 尽 可 能 多 的 测试 信息 ,设计 测试 用 例 的 目标 是 一 次 尽 可 能 地 包含 多 个 测试 要 素 。 
这 些 测试 用 例 必须 是 测试 工具 可 以 实现 的 ,不 同 的 测试 场景 将 测试 不 同 的 功能 。 由 于 性 能 
测试 要 求 在 一 定 负载 下 实现 ,所 以 , 尽 可 能 把 性 能 测试 用 例 设计 得 复杂 , 才 有 可 能 发 现 软件 
的 性 能 瓶颈 。 

6) 运行 测试 用 例 

性 能 测试 要 求 动态 测试 环境 ,单一 的 测试 条 件 下 进行 性 能 测试 得 到 的 测试 结果 是 不 全 
面 的 。 所 以 在 运行 测试 用 例 时 ,需要 在 不 同 的 测试 环境 ,不 同 的 机 器 配置 上 运行 。 

7) 分 析 测 试 结 果 

运行 测试 用 例 后 ,收集 相关 信息 ,进行 数据 统计 分 析 , 找 到 性 能 瓶颈 。 通 过 排除 误差 和 
其 他 因素 ,让 测试 结果 体现 接近 真实 情况 。 不 同 的 体系 结构 分 析 测 试 结 果 的 方法 也 不 同 ， 
BS 结构 我 们 会 分 析 网 络 带宽 .流量 对 用 户 操作 响应 的 影响 ,而 CS 结构 我 们 可 能 会 更 关心 
系统 整体 配置 对 用 户 操作 的 影响 。 


2. 性 能 测试 的 误区 


下 面 我 们 给 出 一 个 性 能 测试 小 案例 : 

某 公司 OA(Office Automation) 产 品 的 新 版 本 即将 发 布 。 为 了 解 系统 的 性 能 ,决定 安 
排 测试 工程 师 小 刘 执 行 性 能 测试 任务 。 小 刘 做 法 如 下 : 

CD 找到 一 台 PC,CPU 主 频 1GB, 内 存 512MB…… 
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(2) 在 找到 的 PC 上 搭建 了 测试 环境 : 安装 了 Oracle 9i, Weblogic 等 系统 软件 。 

(3) 在 自己 的 工作 机 上 安装 了 LoadRunner 9. 5. 

(4) 录制 了 登录 发布 公告 等 功能 。 

(5) 开始 设置 30、50、100、500 不 同 的 并 发 用 户 数目 进行 并 发 。 

(6) 最 后 得 出 结论 : 系统 只 能 运行 80 个 左右 的 并 发 用 户 …… 

上 面 的 做 法 存在 很 多 不 合理 的 地 方 ,例如 测试 内 容 太 少 ,测试 服务 器 配置 太 低 等 。 现 实 
工作 中 ,尽管 性 能 测试 以 其 在 测试 中 独特 的 地 位 越 来 越 为 软件 测试 人 员 、 开 发 人 员 和 用 户 所 
EX ,但 是 不 管 是 测试 人 员 还 是 开发 人 员 ,仍然 在 认识 上 存在 这 样 或 者 那样 的 误区 。 

误区 1: 提高 一 下 硬件 配置 就 可 以 提高 性 能 了 ,因此 性 能 测试 不 重要 。 

这 是 以 前 系统 规模 不 大 时 期 留 下 来 的 认识 。DOS 时 代 以 及 后 来 Windows 操作 系统 流 
行 的 初期 ,软件 规模 一 般 较 小 ,而 硬件 的 更 新 却 是 日 新 月 异 ,软件 性 能 一 般 不 是 突出 问题 , 因 
为 只 要 升级 一 下 硬件 ,很 容易 就 解决 了 性 能 问题 。 

现在 随 着 软件 规模 的 扩大 ,提高 硬件 配置 只 是 解决 性 能 问题 的 一 个 基本 手段 。 因 为 如 
果 软 件 自身 存在 性 能 问题 ,再 多 的 资源 可 能 也 不 够 用 ,例如 内 存 泄漏 问题 , 随 着 时 间 的 增加 ， 
内 存 终究 会 被 耗 尽 ,最 后 导致 系统 崩溃 。 

因此 ,如 果 用 户 对 软件 的 性 能 要 求 较 高 ,这 将 意味 着 不 但 要 从 硬件 方面 来 提供 性 能 ,还 
要 从 数据 库 、Web 服务 器 ,操作 系统 配置 等 方面 人 手 来 提高 性 能 ,同时 开发 的 软件 系统 本 身 
也 要 进行 优化 ,以 便 全 面 提 高 性 能 。 

误区 2: 性 能 测试 在 所 有 其 他 测试 完成 后 ,测试 一 下 看 看 就 可 以 了 。 

这 是 目前 特别 普遍 的 一 种 现象 ,例如 前 面 的 小 刘 , 这 种 现象 主要 是 没有 意识 到 性 能 测试 
的 重要 性 。 这 种 做 法 最 严重 的 后 果 是 如 果 性 能 问题 是 由 软件 系统 本 身 产生 的 ,可 能 会 无 法 
根治 性 能 问题 。 例 如 架构 设计 方面 的 失误 ,可 能 意味 着 软件 系统 将 被 废 掉 。 

当然 这 并 不 意味 所 有 的 性 能 测试 都 要 尽早 进行 ,性 能 测试 的 启动 时 间 要 由 软件 特点 来 
决定 。 

误区 3: 性 能 测试 独立 于 功能 测试 。 

功能 测试 可 以 发 现 性 能 问题 ,性 能 测试 也 能 发 现 功能 问题 。 性 能 测试 和 功能 测试 是 紧 
密 联 系 在 一 起 的 ,原因 之 一 是 很 多 性 能 问题 是 由 软件 自身 功能 缺陷 引起 的 。 如 果 应 用 系统 
功能 不 完善 或 者 代码 运行 效率 低下 ,通常 会 带 来 一 些 性 能 问题 。 功 能 测试 通常 要 先 于 性 能 
测试 执行 或 者 同步 进行 ,软件 功能 完善 可 以 保证 性 能 测试 进行 得 更 加 顺利 。 

误区 4: 性 能 测试 就 是 用 户 并 发 测试 。 

仍然 有 很 多 人 (尤其 是 开发 人 员 和 部 分 项 目 实施 人 员 ) 一 提 到 性 能 测试 ,就 会 联想 到 并 
发 用 户 测试 ,进而 认为 性 能 测试 就 是 “测试 一 下 多 用 户 的 并 发 情况 ”。 严 格 地 讲 , 性 能 测试 是 
以 用 户 并 发 测试 为 主 的 测试 。 实 际 性 能 测试 还 包含 强度 测试 ,大 数据 量 测试 等 许多 内 容 。 

误区 5: 在 开发 环境 下 进行 一 下 性 能 测试 就 可 以 了 。 

很 多 时 候 , 在 软件 开发 完成 后 会 进行 性 能 测试 ,看 一 看 软件 的 性 能 。 实 际 上 大 多 数 的 开 
发 环境 因为 硬件 条 件 比 较 差 ,所 以 反映 不 了 过 多 的 性 能 问题 。 

因此 性 能 测试 要 尽量 在 高 配置 的 用 户 投 产 环 境 下 进行 。 但 是 有 两 种 可 以 例外 的 情况 : 
一 种 是 为 了 发 现 某 些 功能 方面 的 问题 ,例如 ,为 了 发 现 并 发 算法 的 一 些 缺 陷 ; 另 一 种 就 是 有 
非常 好 的 硬件 资源 或 者 实验 室 作为 开发 环境 。 
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误区 6: 系统 存在 “瓶颈 ,不 可 以 使 用 。 

系统 发 现 了 “瓶颈 ”, 的 确 是 很 让 人 担心 的 一 件 事 情 。 不 过 不 要 紧 ,很 多 的 “瓶颈 ”可 以 不 
必 去 理会 。 发 现 * 瓶 颈 的 目的 主要 是 为 了 掌握 系统 特性 ,为 改善 和 扩展 系统 提供 依据 。 因 
此 在 性 能 方面 给 系统 留 有 30% 左 右 的 扩展 空间 就 可 以 了 。 

例如 ,1000 个 用 户 并 发 时 发 现 了 系统 “瓶颈 ”, 而 客户 的 最 大 并 发 用 户 数量 在 500 左右 ， 
这 样 的 性 能 问题 完全 没有 必要 处 理 ,要 是 550 或 者 600 个 并 发 用 户 出 现 性 能 问题 就 应 该 认 
真 地 调整 系统 性 能 了 。 

误区 7: 不 切实 际 的 性 能 指标 。 

这 种 现象 主要 归结 于 对 软件 应 用 需求 的 不 了 解 。 很 多 时 候 ,尤其 是 用 户 会 提出 很 多 不 
切实 际 的 性 能 指标 ,例如 ,针对 500 个 用 户 使 用 的 OA 系统 ,可 能 有 的 用 户 负责 人 会 提出 要 
满足 100 个 甚至 500 个 用 户 并 发 的 性 能 目标 ,而 实际 并 发 数量 不 会 高 于 50。 这 种 情况 只 有 
和 用 户 进 行 沟通 才 可 以 解决 。 

上 面 列举 的 都 是 日 常 性 能 测试 工作 中 相关 人 员 常 犯 的 错误 ,这 些 观 点 只 在 极其 特殊 的 情 
况 下 才 正 确 。 希 望 读者 了 解 这 些 常见 的 性 能 测试 误区 后 ,能 在 以 后 的 工作 中 避免 类 似 的 情况 。 


9.1.3 全 面 性 能 测试 模型 


性 能 测试 的 很 多 内 容 都 是 关联 的 ,所 以 我 们 可 以 把 性 能 测试 的 内 容 组 织 在 一 起 统一 进 
行 。 这 样 做 的 好 处 是 可 以 按照 由 浅 入 深 的 层次 对 系统 进行 测试 ,减少 不 必要 的 工作 量 ,节约 
测试 成 本 。 这 就 是 “全 面 性 能 测试 模型 "提出 的 原因 。 

“全 面 性 能 测试 模型 "提出 的 主要 依据 是 : 一 种 类 型 的 性 能 测试 可 以 在 某 些 条 件 下 转化 
成 为 另 一 种 类 型 的 性 能 测试 ,并 且 它 们 的 实施 方式 是 类 似 的 。 例 如 ,对 一 个 网 站 进行 测试 ， 
模拟 10 一 50 个 用 户 就 是 常规 的 性 能 测试 。 当 用 户 增加 到 1000 乃至 上 万 时 就 可 能 变 成 压 
力 /负载 测试 。 


1. 性 能 测试 的 类 别 


“全 面 性 能 测试 模型 "把 常见 的 性 能 测试 分 为 8 个 类 别 , 然 后 结合 测试 工具 把 性 能 测试 
用 例 归纳 为 5 类 来 进行 设计 。 下 面 首先 介绍 这 8 个 性 能 测试 类 别 的 主要 内 容 : 

1) 预期 指标 的 性 能 测试 

系统 在 需求 分 析 和 设计 阶段 都 会 提出 一 些 性 能 指标 ,完成 和 这 些 指标 相关 的 测试 是 性 
能 测试 的 首要 工作 。 本 模型 把 针对 预先 确定 的 一 些 性 能 指标 而 进行 的 测试 称 为 预期 指标 的 
性 能 测试 。 

这 些 指标 主要 指 诸如 “系统 可 以 支持 1000 个 并 发 用 户 ”“ 系 统 响应 时 间 不 得 长 于 10s” 
等 这 些 在 产品 说 明 书 等 文档 中 规定 得 十 分 明确 的 内 容 。 对 这 种 预先 承诺 的 性 能 要 求 ,测试 
小 组 应 该 首先 进行 测试 验证 。 

2) 独立 业务 性 能 测试 

独立 业务 实际 是 指 一 些 与 核心 业务 模块 对 应 的 业务 ,这 些 模 块 通常 具有 功能 比较 复杂 、 
使 用 比较 频繁 .属于 核心 业务 等 特点 。 这 类 特殊 的 、 功 能 比较 独立 的 业务 模块 始终 都 是 性 能 
测试 的 重点 。 因 此 ,不 但 要 测试 这 类 模块 和 性 能 相关 的 一 些 算法 ,还 要 测试 这 类 模块 对 并 发 
用 户 的 响应 情况 。 
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核心 业务 模块 在 需求 设计 阶段 就 可 以 确定 ,在 集成 或 系统 测试 阶段 开始 单独 测试 其 性 
能 。 如 果 是 系统 类 软件 或 特殊 应 用 领域 的 软件 ,通常 从 单元 测试 阶段 就 开始 进行 测试 ,并 在 
后 继 的 集成 测试 .系统 测试 ,验收 测试 中 进一步 进行 ,以 保证 核心 业务 模块 的 性 能 稳定 。 

3) 组 合 业务 性 能 测试 

通常 所 有 的 用 户 不 会 只 使 用 一 个 或 几 个 核心 业务 模块 ,一 个 应 用 系统 的 每 个 功能 模块 
都 可 能 被 使 用 到 。 所 以 性 能 测试 既 要 模拟 多 用 户 的 “相同 ” en 相同 ” 指 很 多 用 户 
使 用 同一 功能 ) ,又 要 模拟 多 用 户 的 “不 同 ” 操 作 ( 这 里 的 “不 同 ” 指 很 多 用 户 同时 对 一 个 或 多 
个 模块 的 不 同 功能 进行 操作 ) ,对 多 项 业务 进行 组 合 性 能 测试 。 组 合 业 务 测试 是 最 接近 用 户 
实际 使 用 情况 的 测试 ,也 是 性 能 测试 的 核心 内 容 。 通 常 按照 用 户 的 实际 使 用 人 数 比例 来 模 
拟 各 个 模板 的 组 合并 发 情况 。 

由 于 组 合 业务 测试 是 最 能 反映 用 户 使 用 情况 的 测试 ,因而 组 合 测试 往往 和 服务 器 (操作 
系统 .Web 服务 器 .数据库 服务 器 ) 性 能 测试 结合 起 来 进行 。 在 通过 工具 模拟 用 户 操作 的 同 
时 ,还 通过 测试 工具 的 监控 功能 采集 服务 器 的 计数 器 信息 ,进而 全 面 分 析 系统 的 瓶颈 ,为 改 
进 系统 提供 有 利 的 依据 。 

4) 疲劳 强度 性 能 测试 

疲劳 强度 测试 是 指 在 系统 稳定 运行 的 情况 下 ,以 一 定 的 负载 压力 来 长 时 间 运 行 系统 的 
测试 。 其 主要 目的 是 确定 系统 长 时 间 处 理 较 大 业务 量 时 的 性 能 。 通 过 疲劳 强度 测试 基本 可 
以 判断 系统 运行 一 段 时 间 后 是 否 稳定 。 

5) 大 数据 量 性 能 测试 

大 数据 量 测试 通常 是 针对 某 些 系统 存储 、 传 输 、 统 计 查 询 等 业务 进行 大 数据 量 的 测试 。 
主要 测试 运行 时 数据 量 较 大 或 历史 数据 量 较 大 时 的 性 能 情况 ,这 类 测试 一 般 都 是 针对 某 些 
特殊 的 核心 业务 或 一 些 日 常 比较 常用 的 组 合 业务 的 测试 。 

因为 大 数据 量 测试 一 般 在 投产 环境 下 进行 ,所 以 把 它 独立 出 来 并 和 疲劳 强度 测试 放 在 
一 起 ,在 整个 性 能 测试 的 后 期 进行 。 大 数据 量 测试 可 以 理解 为 特定 条 件 下 的 核心 业务 或 组 
合 业 务 测试 。 

6) 网 络 性 能 测试 

网 络 性 能 测试 主要 是 为 了 准确 展示 带宽 、 延 迟 .负载 和 端口 的 变化 是 如 何 影 响 用 户 响 应 

时 间 的 。 在 实际 的 软件 项 目 中 ,主要 是 测试 应 用 系统 的 用 户 数目 与 网 络 带宽 的 关系 。 网 络 
性 能 测试 一 般 有 专门 的 工具 ,本 书 不 加 详 述 。 网 络 测试 的 任务 通常 由 系统 集成 人 员 来 完成 。 

D 服务 器 性 能 测试 (操作 系统 .Web 服务 器 .数据库 服 务 器 ) 

服务 器 性 能 测试 主要 是 对 数据 库 、Web 服务 器 .操作 系统 的 测试 ,目的 是 通过 性 能 测试 
找 出 各 种 服务 器 的 “瓶颈 ”, 为 系统 扩展 、 优 化 提供 相关 的 依据 。 

8) 一 些 特殊 测试 

主要 是 指 配 置 测试 ,内 存 泄 漏 测试 等 一 些 特殊 的 Web 性 能 测试 。 这 类 性 能 测试 或 者 与 
前 面 的 测试 结合 起 来 进行 ,或 者 在 一 些 特殊 的 情况 下 独立 进行 ,我 们 重点 讨论 前 一 种 情况 。 
后 一 种 情况 由 于 投入 较 大 往往 通过 特殊 的 工具 进行 ,可 以 不 纳入 性 能 测试 的 范畴 。 


2. 全 面 性 能 测试 模型 内 容 
“全 面 性 能 测试 模型 是 在 以 上 性 能 测试 分 类 和 总 结 的 基础 上 提出 来 的 , 它 主 要 包含 
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3 个 方面 的 内 容 : 

1) 性 能 测试 策略 。 

2) 性 能 测试 用 例 。 

3) 模型 的 使 用 方法 。 

本 部 分 内 容 讨论 如 何在 工作 中 使 用 “全 面 性 能 测试 模型 ”。 

1) 性 能 测试 策略 

这 是 整个 性 能 测试 模型 的 基础 ,软件 类 型 决定 着 性 能 测试 的 策略 ,同时 用 户 对 待 软件 性 
能 的 态度 也 影响 性 能 测试 策略 的 制订 。 我 们 需要 结合 软件 类 型 和 用 户 特点 来 讨论 性 能 测试 
策略 制订 的 基本 原则 和 方法 。 

性 能 测试 策略 一 般 从 需求 设计 阶段 就 开始 讨论 如 何 制订 了 , 它 决定 着 性 能 测试 工作 将 
要 投入 多 少 资源 .什么 时 间 开 始 实施 等 后 继 工 作 的 安排 。 其 制订 的 主要 依据 是 “软件 自身 特 
点 ”和 “用 户 对 性 能 的 关注 程度 ”两 个 因素 ,其 中 软件 的 自身 特点 起 决定 作用 。 

软件 按照 用 途 的 不 同 可 以 分 为 两 大 类 : 系统 类 软件 和 应 用 类 软件 。 系 统 类 软件 通常 对 
性 能 要 求 比较 高 ,因此 性 能 测试 应 该 尽早 介入 。 应 用 类 软件 分 为 特殊 类 应 用 和 一 般 类 应 用 ， 
特殊 类 应 用 主要 指 银行 .电信 电力、 保险 .医疗 .安全 等 领域 类 的 软件 ,这 类 软件 使 用 比较 频 
繁 ,用 户 较 多 ,一 般 也 要 较 早 进行 性 能 测试 ; 一 般 类 应 用 主要 指 一 些 普通 应 用 ,例如 ,办 公 自 
动 化 软件 .MIS 系统 等 。 一 般 应 用 类 软件 多 根据 实际 情况 来 制订 性 能 测试 策略 ,例如 OA 
系统 , 既 可 以 早 开始 ,也 可 以 最 后 进行 性 能 测试 ,这 类 软件 受用 户 因素 影响 比较 大 。 

按 对 性 能 重视 程度 的 不 同一 般 可 以 将 用 户 分 为 4 类 , 即 高 度 重视 .中 等 重视 .一般 重视 、 
不 重视 。 这 么 划分 主要 是 为 了 说 明 用 户 对 性 能 测试 的 影响 。 实 际 上 ,用 户 不 关注 性 能 并 不 
意味 着 测试 人 员 就 可 以 忽略 性 能 测试 ,但 是 如 果 用 户 特别 关注 系统 性 能 ,那么 测试 人 员 也 要 
特别 重视 性 能 测试 工作 。 表 9-2 列 出 了 性 能 测试 策略 制订 的 基本 原则 。 

注意 : 这 里 的 用 户 是 广义 范围 的 用 户 ,包括 所 有 和 产品 有 利害 关系 的 群体 。 因 而 不 单 
单 指 最 终 使 用 产品 的 用 户 , 这 些 用 户 既 可 以 是 提出 需求 的 产品 经 理 , 也 可 以 是 公司 的 董事 会 
成 员 , 甚 至 是 项 目的 研发 人 员 。 


表 9-2 性 能 测试 策略 制订 原则 


软件 类 别 应 用 类 软件 
系统 类 软件 
用 户 重 视 程度 一 般 类 应 用 特殊 类 应 用 
从 设计 阶段 就 开始 针 | 设计 阶段 开始 进行 一 些 规划 | 从 设计 阶段 就 开始 针对 
高 度 重视 对 系统 架构 ,数据 库 设 | 工作 ,主要 在 系统 测试 阶段 | 系统 架构 数据库 设 计 
计 等 方面 进行 规划 ,从 | 开始 进行 性 能 测试 实施 等 方面 进行 规划 ,从 根 
根源 来 提高 性 能 。 源 来 提高 性 能 。 


中 等 重视 /一 般 重视 | 系统 类 软件 一 般 从 单 | 可 以 在 系统 测试 阶段 的 功能 | 特殊 应 用 类 软件 一 般 从 
元 测试 阶段 开始 进行 | 测试 结束 后 进行 性 能 测试 | 单元 测试 阶段 开始 进行 
性 能 测试 实施 工作 , 主 - 性 能 测试 实施 工作 , E 
不 重视 要 是 测试 一 些 和 性 能 | 可 以 在 软件 发 布 前 进行 性 能 | 要 是 测试 一 些 和 性 能 相 
相关 的 算法 或 模块 。 | 测试 ,提交 测试 报告 即 可 关 的 算法 或 模块 


AR 9-2 中 可 以 看 出 : (DD“ 系 统 类 软件 ” “特殊 应 用 类 软件 ”应 该 从 设计 阶段 开始 进行 
性 能 测试 ; 四 制订 性 能 测试 策略 的 主要 依据 是 软件 的 特点 ,用户 对 待 系统 性 能 的 态度 影响 


性 能 测试 策略 ,但 不 起 决定 作用 。 

软件 的 特点 决定 性 能 测试 策略 的 另外 一 个 重要 原因 是 “一 般 应 用 类 软件 本身 对 性 能 要 
求 不 高 ,发 生性 能 问题 的 概率 较 小 。 因 此 可 以 通过 提高 硬件 配置 来 改善 运行 环境 ,进而 提高 
性 能 。 不 过 这 也 不 是 普遍 适用 的 原则 。 例 如 ,一 个 几 千 用 户 使 用 的 OA 系统 ,仍然 要 高 度 重 
视 性 能 ,不 管 客户 对 待 系统 性 能 是 什么 态度 。 

虽然 从 硬件 方面 解决 性 能 问题 往往 更 容易 做 到 ,同时 还 可 以 降低 开发 成 本 ,但 是 也 不 能 
要 求 用户 进 行 过 大 的 硬件 投入 ,否则 会 降低 “客户 满意 度 ”。 调 整 性 能 最 好 的 办 法 还 是 软 硬 
件 相 结合 。 

“用 户 对 待 系统 性 能 的 态度 影响 性 能 测试 策略 ,但 不 起 决定 作用 ”的 根本 原因 是 ,产品 最 
终 是 要 交付 给 用 户 使 用 的 ,而 不 是 做 出 来 给 用 户 欣 赏 的 。 因 此, 不管 用户 是 否 重 视 性 能 测 
试 ,甚至 根本 不 关心 ,对 于 性 能 要 求 较 高 的 软件 产品 也 应 按照 表 9-2 的 策略 来 执行 性 能 测 
试 。 只 是 如 果 用 户 特别 重视 产品 性 能 ,意味 着 测试 团队 可 能 要 进行 更 多 的 成 本 投入 。 

性 能 测试 策略 是 后 期 性 能 测试 工作 的 基础 ,决定 着 性 能 测试 工作 的 投入 。 因 此 ,要 充分 意识 
到 这 一 工作 的 重要 性 ,认识 到 只 有 做 好 了 前 期 的 “路 线 " 制 订 工 作 , 才 可 以 走 对 后 面 的 “道路 ”。 

2) 性 能 测试 用 例 

这 是 整个 性 能 测试 模型 的 核心 部 分 ,其 主要 思想 就 是 结合 测试 工具 ,把 以 上 性 能 测试 的 
8 项 内 容 进一步 归纳 ,形成 5 类 测试 用 例 : 

。 预期 指标 的 性 能 测试 用 例 

所 谓 预期 或 预定 性 能 指标 ,就 是 指 一 些 十 分 明确 的 、 在 系统 需求 设计 阶段 预先 提出 的 、 
期 望 系统 达到 的 ,或 者 向 用 户 保证 的 性 能 指标 ,这 些 指 标 是 性 能 测试 的 首要 任务 。 针 对 每 个 
指标 都 要 编写 一 个 或 多 个 测试 用 例 来 验证 系统 是 否 达到 要 求 , 如 果 达 不 到 目标 , 则 需 根 据 测 
试 结果 来 改进 系统 的 性 能 。 

预期 指标 的 用 例 设 计 比 较 简单 ,主要 参考 需求 和 设计 文档 ,把 里 面 十 分 明确 的 性 能 要 求 
提取 出 来 即 可 。 指 标 中 通常 以 单 用 户 为 主 , 如 果 涉 及 并 发 用 户 内 容 , 则 归并 到 并 发 用 户 测试 
用 例 中 进行 设计 , 遇 到 其 他 内 容 亦 可 采用 同样 的 方法 处 理 。 

* 并 发 用 户 的 性 能 测试 用 例 

这 里 的 用 户 并 发 测试 融合 了 前 面 提 到 的 “独立 业务 性 能 测试 "和 “组 合 业务 性 能 测试 ”两 
类 内 容 , 主 要 是 为 了 使 性 能 测试 按照 一 定 的 层次 来 开展 。 独 立业 务 性 能 测试 实际 上 就 是 核 
心 业务 模块 的 某 一 业务 的 并 发 性 能 测试 ,可 以 理解 为 “单元 性 能 测试 ”; 组 合 业 务 的 性 能 测 
试 是 一 个 或 多 个 模块 的 多 项 业务 同时 进行 并 发 性 能 测试 ,可 以 理解 为 集成 性 能 测试 "。“ 单 
元 性 能 测试 "和 “和 集成 性 能 测试 "两 者 紧密 相连 ,由 于 这 两 部 分 内 容 都 是 以 并 发 用 户 测试 为 
主 ,因此 把 这 两 类 测试 合并 起 来 统称 为 “用 户 并 发 性 能 测试 ”。 

用 户 并 发 性 能 测试 要 求 选择 具有 代表 性 的 、 关 键 的 业务 来 设计 测试 用 例 , 以 便 更 有 效 地 
评测 系统 性 能 。 当 编写 具体 的 测试 用 例 设计 文档 时 ,一 般 不 会 像 功 能 测试 那样 进行 明确 地 
分 类 ,其 基本 的 编写 思想 是 按照 系统 的 体系 结构 进行 编写 的 。 很 多 时 候 ,“ 独 立业 务 ”" 和 “组 
合 业务 ”是 混合 在 一 起 进行 设计 的 。 

单一 模块 本 身 就 存在 “独立 业务 ”和 “组 合 业务 ”, 所 以 性 能 测试 用 例 的 设计 应 该 面向 “ 模 
块 ”, 而 不 是 具体 的 业务 。 在 性 能 测试 用 例 设计 模型 中 ,用 户 并 发 测试 实际 就 是 关于 “独立 核 
心 模块 并 发 "和 “组 合 模块 并 发 "的 性 能 测试 。 

用 户 并 发 性 能 测试 的 详细 分 类 如 图 9-1 所 示 。 
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用 户 并 发 性 能 测试 
| 
独立 核心 模块 并 发 性 能 测试 | 组 合 模块 并 发 性 能 测试 


同一 模块 同一 模块 
完全 一 样 | ”| 完全 一 样 
的 功能 并 | “| 的 操作 并 
发 ， 名 个 4. 各个 
用 户 对 系 用 户 对 系 
统 产生 完 | “| 统 的 影响 
全 一 样 的 可 能 不 同 


具有 耦合 基于 用 户 
关系 的 多 场景 的 并 
个 “核心 发 , 选择 
模块 组 ” 与 场景 相 
进行 并 发 ,| | 关 的 模块 ， 
每 组 模块 每 个 模块 
内 部 都 存 模拟 一 定 
在 耦 台 关系 | | 数量 的 用 
户 进行 并 发 


9-1 用 户 并 发 性 能 测试 的 分 类 示意 图 


独立 核心 模块 (以 下 简称 “核心 模块 ”) 并 发 性 能 测试 的 重点 是 测试 一 些 系 统 重要 模块 独 
立 运行 的 情况 ,因此 可 以 将 其 理解 为 “单元 性 能 测试 "。 只 有 这 些 决 定 系统 性 能 的 “核心 单元 ” 
性 能 稳定 ,后 面 的 性 能 测试 才 有 意义 。 核 心 模块 并 发 性 能 测试 是 整个 性 能 测试 工作 的 基础 。 

组 合 模块 并 发 性 能 测试 是 最 能 反映 用 户 实际 使 用 情况 的 测试 ,是 在 前 面 各 个 核心 模块 
运行 良好 的 基础 上 、 把 系统 的 一 些 具 有 耦合 关系 的 模块 组 合 起 来 的 测试 ,因此 可 以 理解 成 集 
成 性 能 测试 "。 组 合 模块 用 户 并 发 性 能 测试 最 重要 的 是 模拟 实际 用 户 比较 常见 的 场景 ,只 有 这 
样 才 可 以 真实 地 反映 用 户 使 用 系统 的 情况 ,进而 发 现 系统 的 “瓶颈 "和 其 他 一 些 性 能 问题 。 

。 疲劳 强度 和 大 数据 量 的 性 能 测试 用 例 

疲劳 强度 测试 属于 用 户 并 发 测试 的 延续 ,因此 测试 内 容 仍然 是 “核心 模块 用 户 并 发 ”与 
“组 合 模块 用 户 并 发 "。 在 实际 工作 中 ,一 般 通 过 工具 模拟 用 户 的 一 些 核心 或 典型 的 业务 , 然 
后 长 时 间 地 运行 系统 ,以 检测 系统 是 否 稳定 。 

大 数据 量 测试 主要 是 针对 那些 对 数据 库 有 特殊 要 求 的 系统 而 进行 的 测试 ,例如 电信 业 
务 系统 的 手机 短信 业务 。 由 于 有 的 用 户 关机 或 不 在 服务 区 ,每 秒 钟 需要 有 大 量 的 短信 息 保 
存 , 同 时 在 用 户 联机 后 还 要 及 时 发 送 ,因此 对 数据 库 性 能 有 极 高 的 要 求 ,需要 进行 专门 测试 。 
编写 本 类 用 例 前 ,应 对 需求 设计 文档 进行 仔细 分 析 ,提出 测试 点 。 

大 数据 量 测试 分 为 3 种 : 

m 实时 大 数据 量 测试 : 模拟 用 户 工作 时 的 实时 大 数据 量 ,主要 目的 是 测试 用 户 较 多 
或 某 些 业务 产生 较 大 数据 量 时 ,系统 能 否 稳定 地 运行 。 

- 极限 状态 下 的 测试 : 主要 是 测试 系统 使 用 一 段 时 间 后 , 即 系统 累积 一 定量 的 数据 
后 ,能 否 正常 地 运行 业务 。 

" 前 面 两 种 的 结合 : 测试 系统 已 经 累积 较 大 数据 量 时 ,一 些 运行 时 产生 较 大 数据 量 
的 模块 能 否 稳定 地 工作 。 

。 服务 器 性 能 测试 用 例 

网 络 性 能 测试 的 用 例 设计 主 要 有 以 下 两 类 : 

m 基于 硬件 的 测试 : 主要 通过 各 种 专用 软件 工具 、 仪 器 等 来 测试 整个 系统 的 网 络 运 
行 环境 ,一 般 由 专门 的 系统 集成 人 员 来 负责 ,不 在 本 书 的 研究 范围 之 内 。 
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和 基于 应 用 系统 的 测试 : 在 实际 的 软件 项 目 中 ,主要 测试 用 户 数目 与 网 络 带宽 的 关 

系 。 通 过 测试 工具 准确 展示 带宽 、 延 迟 .负载 和 端口 的 变化 是 如 何 影 响 用 户 响应 

时 间 的 。 例 如 ,可 以 分 别 测试 不 同 带宽 条 件 下 系统 的 响应 时 间 。 

。 网 络 性 能 测试 用 例 

服务 器 性 能 测试 主要 有 两 种 类 型 : 

a 高 级 服务 器 性 能 测试 : 主要 指 在 特定 的 硬件 条 件 下 ,由 数据 库 、Web 服务 器 .操作 
系统 相应 领域 的 专家 进行 的 性 能 测试 。 例 如 ,数据 库 服务 器 由 专门 的 DBA 
(Database Administrator) 来 进行 测试 和 调 优 。 这 类 测试 一 般 不 由 测试 工程 师 来 
完成 ,所 以 不 在 本 书 的 研究 范围 之 内 。 
初级 服务 器 性 能 测试 : 主要 指 在 业务 系统 工作 或 进行 前 面 其 他 种 类 性 能 测试 的 
时 候 , 监 控 服务 器 的 一 些 计数 器 信息 。 通 过 这 些 计数 器 对 服务 器 进行 综合 性 能 分 
Wr , 找 出 系统 “瓶颈 ”, 为 调 优 或 提高 性 能 提供 依据 。 

在 具体 的 测试 设计 中 ,性 能 测试 用 例 往往 和 测试 工具 结合 起 来 ,把 服务 器 、 网 络 性 能 测 
试 的 用 例 设计 与 前 三 种 类 型 结合 起 来 。 例 如 LoadRunner 就 可 以 在 进行 压力 测试 的 同时 ， 
完成 服务 器 性 能 测试 和 网 络 性 能 测试 的 数据 采集 工作 。 因 此 ,服务 器 和 网 络 的 性 能 测试 用 
例 只 进行 总 体 设计 就 可 以 了 。 

3) 模型 的 使 用 方法 

“全 面 性 能 测试 模型 "是 针对 性 能 测试 而 提出 的 一 种 方法 ,主要 是 为 了 比较 全 面 地 开展 
性 能 测试 ,使 性 能 测试 更 容易 组 织 和 开展 。 本 模型 包含 了 测试 策略 制订 的 通用 方法 和 测试 
用 例 设计 的 通用 方案 。 其 中 测试 用 例 的 设计 覆盖 了 应 用 软件 、 服 务 器 、 操 作 系 统 等 多 方面 内 
容 , 按 照 由 浅 入 深 的 层次 对 性 能 测试 进行 合理 地 组 织 。 

“全 面 性 能 测试 模型 "是 一 种 从 很 多 性 能 测试 项 目 抽象 出 来 的 方法 论 ,主要 用 来 指导 测 
试 ,一 般 不 适合 具体 的 性 能 测试 项 目 ,因为 任何 一 个 项 目 都 会 有 它 的 特定 背景 。 要 想 通 过 
“全 面 性 能 测试 模型 "做 好 性 能 测试 工作 ,首先 要 制订 好 性 能 测试 策略 ,同时 还 要 按照 一 些 基 
本 指导 原则 来 使 用 “性 能 测试 用 例 模型 "的 内 容 。 这 些 原则 主要 包括 如 下 内 容 : 

。 测试 策略 遵从 最 低 成 本 原则 。 

全 面 性 能 测试 本 身 是 一 种 高 投入 的 测试 ,而 很 多 公司 在 测试 上 的 投入 都 比较 低 ; 性 能 
测试 同时 又 是 全 部 测试 工作 的 一 部 分 ,很 多 项 目 只 能 进行 一 些 重 要 的 性 能 测试 内 容 。 这 就 
决定 了 测试 负责 人 制订 性 能 测试 策略 时 在 资源 投入 方面 一 定 要 遵从 最 低 成 本 化 原则 。 最 低 
成 本 的 衡量 标准 主要 指 * 投 入 的 测试 成 本 能 否 使 系统 满足 预先 确定 的 性 能 目标 ”。 只 要 经 过 
反复 的 “测试 一 一 系统 调 优 一 一 测试 "后 ,系统 符合 性 能 需求 并 有 一 定 的 扩展 空间 ,就 可 以 认 
为 性 能 测试 工作 是 成 功 的 。 反 之 ,如 果 系 统 经 过 测试 后 不 能 满足 性 能 需求 或 满足 性 能 需求 
后 仍 须 继续 投入 资源 进行 测试 , 则 可 以 认为 是 不 合理 的 。 

。 策略 为 中 心 原 则 。 

本 原则 不 但 对 性 能 测试 工作 有 效 , 对 其 他 类 型 的 测试 工作 同样 具有 指导 意义 。 测 试 策 
略 不 但 决定 了 测试 用 例 设计 的 主要 内 容 , 还 决定 着 实施 测试 工作 时 如 何 根据 项 目的 实际 情 
况 进行 处 理 。 例 如 , 当 项 目 时 间 比 较 紧张 时 ,就 可 以 按照 测试 用 例 的 优先 级 只 执行 一 部 分 性 
能 测试 用 例 。 因 此 ,性 能 测试 策略 应 该 贯穿 整个 性 能 测试 的 全 过 程 。 

。 适当 裁剪 原则 。 

裁剪 原则 主要 是 针对 性 能 用 例 设 计 而 言 的 。 性 能 测试 用 例 设计 模型 主要 是 针对 电信 、 
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银行 等 特殊 领域 的 应 用 而 提出 的 ,包含 的 测试 内 容 比较 全 面 ,而 这 类 项 目的 性 能 测试 一 般 周 
期 较 长 .投入 较 大 。 一 些 银行 项 目的 性 能 测试 周期 可 能 会 超过 一 年 。 要 想 性 能 测试 用 例 设 
计 模 型 在 大 多 数 测试 项 目 中 适用 ,就 必须 对 测试 用 例 模型 包含 的 内 容 进行 合理 地 裁剪 。 这 
样 做 主要 是 为 了 适合 特定 项 目的 测试 需求 ,进而 节约 测试 成 本 。 

裁减 的 主要 依据 是 性 能 测试 策略 。 根 据 策略 制订 方法 制订 出 测试 策略 ,然后 从 “5 类 性 
能 测试 用 例 ” 中 选择 适当 的 类 别 来 编写 测试 用 例 。 例 如 有 些 要 求 不 高 的 静态 门户 网 站 ,用 户 
没有 提出 性 能 方面 的 要 求 ,可 以 只 测试 用 户 并 发 情况 作为 系统 性 能 的 参考 。 

。 完善 模型 原则 。 

本 模型 只 是 作者 工作 经 验 的 总 结 ,由 于 性 能 测试 任务 都 有 自己 的 项 目 背景 ,因而 需要 对 
模型 内 容 进 行 不 断 地 调整 .补充 ,完善 ,使 之 适合 更 多 的 性 能 测试 工作 。 具 体 来 说 ,不 断 完善 
就 是 要 在 工作 中 不 断 总 结 经 验 , 形 成 自己 的 “全 面 性 能 测试 模型 "。 只 有 “自己 的 ”测试 模型 ， 
才 是 最 符合 需要 的 模型 。 

。 模 型 具体 化 原则 。 

模型 具体 化 是 指 把 模型 运用 到 具体 的 项 目 中 去 ,这 是 前 面 所 有 指导 原则 的 终极 目标 。 
如 果 只 记 住 模型 的 条 条 框框 , 生 搬 硬 套 框 架 来 设计 测试 ,只 能 得 到 适得其反 的 结果 。 要 想 使 
模型 在 性 能 测试 工作 中 发 挥 作用 ,只 有 根据 实际 项 目的 特点 制订 合理 的 性 能 测试 策略 、 编 写 
适当 的 性 能 测试 用 例 ,并 在 测试 实施 中 灵活 地 执行 测试 方案 才 是 上 策 。 

综合 上 面 的 分 析 可 以 看 出 ,要 想 真 正 做 好 性 能 测试 工作 ,最 有 效 的 办 法 就 是 在 掌握 基本 
理论 和 方法 后 ,在 工作 中 不 断 地 探索 和 总 结 , 形 成 自己 的 “全 面 性 能 测试 模型 ”。 


6.2 使 用 LoadRunner 进行 性 能 测试 


9.2.1 LoadRunner 简介 
1. LoadRunner 的 介绍 


Mercury LoadRunner 是 一 种 预测 系统 行为 和 性 能 的 负载 测试 工具 。 通 过 以 模拟 成 千 
上 万 用 户 实施 并 发 负载 和 实时 性 能 监测 的 方式 来 查找 问题 , LoadRunner 能 够 对 整个 企业 
架构 进行 测试 。 通 过 使 用 LoadRunner, 企 业 能 最 大 限度 地 缩短 测试 时 间 , 优 化 性 能 和 加 速 
应 用 系统 的 发 布 周期 。 

LoadRunner 是 一 种 适用 于 各 种 体系 架构 的 自动 负载 测试 工具 , 它 能 预测 系统 行为 并 
优化 系统 性 能 。LoadRunner 的 测试 对 象 是 整个 企业 的 系统 , 它 通 过 模拟 实际 用 户 的 操作 
行为 和 实行 实时 性 能 监测 ,来 帮助 你 更 快 地 查找 和 发 现 问 题 。 此 外 ,LoadRunner 能 支持 大 
多 数 协议 和 技术 ,为 你 的 特殊 环境 提供 特殊 的 解决 方案 。 

本 节 将 以 LoadRunner 9. 5 为 例 来 讲解 LoadRunner 的 基本 特征 和 用 法 。 


2. LoadRunner 组 件 


LoadRunner 包含 以 下 组 件 : 
* Virtual User Generator 录制 最 终 用 户 业务 流程 并 创建 自动 化 性 能 测试 脚本 , 即 
Vuser 脚本 。 
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Controller 组 织 .驱动 .管理 并 监控 负载 测试 。 

。 Load Generator 通过 运行 Vuser 产生 负载 。 

Analysis 用 于 查看 、. 训 析 和 比较 性 能 结果 。 

Launcher 使 你 可 以 通过 单个 访问 点 访问 所 有 LoadRunner 组件。 


3. LoadRunner 术语 


t 场景 : 场景 文件 根据 性 能 要 求 定义 每 次 测试 期 间 发 生 的 事件 。 

* Vuser: 虚拟 用 户 。 在 场景 中 LoadRunner 用 虚拟 用 户 (Vuser) 代 替 真 实用 户 。 

Vuser 模仿 真实 用 户 的 操作 来 访问 应 用 系统 。 一 个 场景 可 以 包含 数 十 、 数 百 乃 至 数 千 
个 Vuser。 

。 Vuser 脚本 : 描述 Vuser 在 场景 中 执行 的 操作 。 

。 事务 : 要 评测 服务 器 性 能 ,需要 定义 事务 。 事 务 代表 要 评测 的 终端 用 户 业 务 流程 。 


4. 负载 测试 的 流程 


负载 测试 一 般 包 括 5 个 阶段 : 规划 ,创建 脚本 、 定 义 场景 .执行 场景 和 分 析 结 果 。 

COD 规划 负载 测试 : 定义 性 能 测试 要 求 , 例 如 并 发 用 户 数量 、 典 型 业务 流程 和 要 求 的 响 
应 时 间 。 

(2) 创建 Vuser 脚本 : 在 自动 化 脚本 中 录制 最 终 用 户 活动 。 

(3) 定义 场景 : 使 用 LoadRunner Controller 设置 负载 测试 环境 。 

(4) 运行 场景 : 使 用 LoadRunner Controller 驱动 .管理 并 监控 负载 测试 。 

(5) 分 析 结 果 : 使 用 LoadRunner Analysis 创建 图 和 报告 并 评估 性 能 。 


5. 示例 程序 HP Web Tours 


HP Web Tours 应 用 程序 是 一 个 基于 Web 的 旅行 社 系统 。HP Web Tours 用 户 可 以 连 
接 到 Web 服务 器 ,搜索 航班 ,预订 机 票 并 查看 航班 路 线 。 

首先 ,让 我 们 按照 以 下 步骤 简单 熟悉 一 下 示例 程序 。 

步骤 一 : 启动 Web 服务 器 。 

LoadRunner KE IRJA Yd" JF li" LoadRunner- Samples Web" JH zy Web 服 
务 器 ”, 启 动 示例 程序 自 带 的 Web 服务 器 。 

步骤 二 : 打开 并 登录 HP Web Tours 示例 程序 。 

yt f£" JF "— LoadRunner- Samples Web- HP Web Tours, 浏 览 器 将 打开 HP Web 
Tours 的 主页 ,如 图 9-2 所 示 。 在 HP Web Tours 的 主页 中 输入 用 户 名 jojo, 密 码 bean, 单 
击 Login 按钮 登录 。 

注意 : 确保 LoadRunner 安装 在 默认 的 计算 机 目录 下 。 如 果 LoadRunner 没有 安装 在 
默认 目录 下 ,将 无 法 打开 HP Web Tours 应 用 程序 。 

步骤 三 : 预订 机 票 。 

在 左 窗 格 中 单 击 Flights( 航 班 ) 按 钮 ,打开 Find Flight 查找 航班 页 面 , 将 Arrival city 
(目的 地 ) 更 改 为 San Francisco( 洛 杉 矶 ) , 单 击 Continue( 继 续 ) 弹 出 订 票 .付款 等 窗口 ,如 
图 9-3(a) 一 (d) 所 示 。 预 订 完成 后 ,在 左 窗 格 中 单 击 Sign Off (注销 ) 退 出 。 
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图 9-2 HP Web Tours 主页 


9-3 HP Web Tours 订 票 流程 
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熟悉 了 HP Web Tours 的 操作 流程 后 ,下 面 我 们 就 用 LoadRunner 来 对 HP Web Tours 
进行 性 能 测试 。 假 设 你 是 负责 检验 该 应 用 程序 是 否 满足 业务 需要 的 性 能 工程 师 。 项 目 经 理 
给 你 列 出 了 4 个 发 行 条 件 : 

(1) HP Web Tours 必须 能 够 成 功 处 理 10 家 旅行 社 的 并 发 操作 。 

(2) HP Web Tours 必须 能 够 处 理 10 个 并 发 的 机 票 预 订 操作 , 且 响 应 时 间 不 能 超 
过 90s。 

(3) HP Web Tours 必须 能 够 处 理 10 家 旅行 社 的 并 发 航班 路 线 查看 操作 , 且 响 应 时 间 
不 能 超过 120s。 

(4) HP Web Tours 必须 能 够 处 理 10 家 旅行 社 的 并 发 登录 和 注销 操作 , 且 响 应 时 间 不 
能 超过 10s。 

下 面 的 内 容 将 告诉 你 怎样 完成 检验 每 项 业务 需求 的 负载 测试 ,使 你 清楚 是 否 可 以 发 行 
此 应 用 程序 。 


9.2.2 LoadRunner 的 功能 


为 了 清晰 说 明 LoadRunner 的 功能 ,我 们 将 运行 一 次 负载 测试 ,使 用 最 多 10 个 并 发 用 
户 对 一 个 数据 库 应 用 程序 运行 负载 测试 ,并 分 析 测 试 结果 。 这 次 测试 将 模拟 几 家 旅行 社 同 
时 使 用 机 票 预 订 系统 (如 登录 ,搜索 航班 ,购买 机 票 .查看 航班 路 线 和 注销 ) 。 

测试 期 间 ,测试 人 员 可 以 使 用 LoadRunner 的 联机 监控 器 观察 Web 服务 器 在 负载 下 的 
运行 情况 。 特 别 是 可 以 看 到 ,负载 的 增加 如 何 影 响 服务 器 对 用 户 操作 的 响应 时 间 ( 事 务 响应 
时 间 ) 以 及 如 何 引 起 错误 的 产生 。 

当 你 了 解 了 如 何 使 用 LoadRunner 在 系统 中 生成 负载 并 评测 系统 对 该 负载 的 响应 情况 
后 ,你 将 学 习 如 何 使 用 LoadRunner 组 件 (VuGen Controller 和 Analysis) 创 建 并 运行 自己 
的 测试 以 及 如 何 分 析 测试 结果 。 


1. 创建 负载 测试 


LoadRunner 的 Controller 组 件 可 以 用 来 创建 .管理 和 监控 测试 ,Controller 能 够 执行 模 
拟 实际 用 户 操作 的 示例 脚本 ,通过 并 发 一 定数 量 的 Vuser( 虚 拟 用 户 ) 操 作 , 在 系统 上 产生 
负载 。 

步骤 一 : 打开 LoadRunner 窗口 。 

选择 “开始 ”~~“* 所 有 程序 ”>~LoadRunner>LoadRunner, 打 开 LoadRunner 启动 程序 窗 
口 ,如 图 9-4 所 示 。 

步骤 二 : 打开 Controller。 

在 负载 测试 选项 卡 中 , 单 击 运行 负载 测试 。 默 认 情 况 下 LoadRunnerController 打开 时 
显示 “新 建 场景 "对 话 框 ,如 图 9-5 所 示 。 这 里 我 们 不 要 新 建 场景 ,所 以 单 击 * 取 消 ?按钮 。 

步骤 三 : 打开 示例 测试 。 

在 Controller 菜单 中 ,选择 “文件 ”>“ 打 开 ”, 找 到 LoadRunner 安装 目录 \tutorial 目录 
中 的 demo. scenario. lrs, 如 图 9-6 所 示 。 
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e emp 或 中 转 阶段 ,通过 在 IT 系统 上 产生 生产 性 工作 负荷 ， 
负载 测试 可 以 度量 有 负载 时 关键 业务 流程 的 性 能 ， 
ER 3ETTUUE BURNER SEEISHONGS. HP Software 的 
e 分 析 负载 测试 LoadRunner 为 大 多 数 需 用 协议 和 技术 ( 包括 ERP/CRM, Web. 


J2EE/NET. XML. NET. TEMENA) 提供 全 面 支持 , 因此， 
组 只 需 一 个 产品 即 可 对 所 有 企业 应 用 程序 进行 负载 和 人 性 能 测试 。 太 
HP Software 的 LoadRunner 实现 高 效 的 负 各 测试 流程 ， 

有 助 于 确保 新 安装 或 升级 的 应 用 程序 满足 服务 水 平 目标 ， 
以 及 部署 到 生产 环境 中 时 不 会 对 性 能 产生 意外 的 冲 响 。 


Q 了 解 有 关 负 盐 测试 的 详细 信息 
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9-4 LoadRunner 启动 窗口 


通过 指定 要 运行 的 虚拟 用 户 数 来 管理 负载 测试 
D 使 用 百分比 模式 在 脚本 间 分 配 Vuser 


C 面向 目标 的 场景 
区 许 LosdRunner Controller 基于 指定 的 目标 创建 场景 
三 选择 要 在 场景 中 使 用 的 脚本 
可 用 脚本 场景 中 的 脚本 
D Bg) 三 : 


Quality Center Q)... 
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图 9-5 “新 建 场景 "对 话 框 
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图 9-6 打开 示例 测试 文件 
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demo. scenario. lrs 文件 将 在 LoadRunnerController 的 “设计 ”选项 卡 中 打开 ,demo_ 
script 测试 将 出 现在 “场景 组 ”窗口 中 ,如 图 9-7 所 示 , 图 中 可 以 看 到 已 经 分 配 了 10 个 Vuser 
来 运行 此 测试 ,下 面 就 可 以 运行 测试 了 。 
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9-7 demo script 测试 


2. 运行 负载 测试 


在 运行 选项 卡 中 单 击 开始 场景 按钮 较 .出 现 Controller 运行 视图 ,Controller 开始 运行 
场景 。 在 “场景 组 ” 窗 格 中 ,可 以 看 到 Vuser 逐渐 开始 运行 并 在 系统 中 生成 负载 ,可 以 通过 
联机 图 像 看 到 服务 器 对 Vuser 操作 的 响应 情况 ,如 图 9-8 所 示 。 


3. 监控 负载 测试 


LoadRunner 包含 多 种 监控 器 ,能 监控 系统 主要 组 件 , 如 Web 应 用 程序 、 网 络 ,数据库 
和 ERP/CRM 服务 器 等 ,它们 可 以 评测 负载 测试 期 间 系 统 每 一 层 的 性 能 以 及 服务 器 和 组 件 
的 性 能 。 在 应 用 程序 中 生成 负载 时 ,我 们 就 可 以 利用 这 些 监控 器 了 解 应 用 程序 的 性 能 以 及 
潜在 的 瓶颈 。 

1) 默认 图 像 

默认 情况 下 ,Controller 显示 “正在 运行 Vuser” 图 “事务 响应 时 间 ” 图 “每 秒 点 击 次 数 ” 
图 和 “Windows 资源 "图 ,前 三 个 图 像 不 需要 配置 ,“Windows 资源 ”图 的 配置 将 在 后 面 章节 
中 讲解 。 
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图 9-8 运行 负载 测试 


* 正在 运行 Vuser 图 : 整个 场景 。 通 过 图 9-9 可 以 监控 在 给 定时 间 内 运行 的 Vuser 数 
目 ,可 以 看 到 Vuser 以 每 分 钟 2 个 的 速度 逐渐 开始 运行 。 


正在 运行 Vuser - 整个 场景 


0000.00 000010 000020 000030 000040 000050 00:01:00 000140 00:01:20 
已 用 时 间 


图 9-9 正在 运行 Vuser 


* 事务 响应 时 间 图 : 整个 场景 。 通 过 图 9-10 可 以 监控 完成 每 个 事务 所 用 的 时 间 ,可 以 
看 到 客户 登录 ,搜索 航班 ,购买 机 票 .查看 线路 和 注销 所 用 的 时 间 。 
在 图 9-10 中 还 可 以 看 到 , 随 着 越 来 越 多 的 Vuser 登录 到 被 测试 的 应 用 程序 进行 工作 ， 
事务 响应 时 间 逐 渐 延 长 ,提供 给 客户 的 服务 水 平 也 越 来 越 低 。 


图 9-10 事务 响应 时 间 


。 每 秒 单 击 次 数 图 : 整个 场景 。 可 以 监控 场景 运行 期 间 Vuser 每 秒 向 Web 服务 器 提 
交 的 单 击 次 数 (HTTP 请 求 数 ) 。 这 样 你 就 可 以 了 解 服务 器 中 生成 的 负载 量 。 
* Windows 资源 图 。 通 过 此 图 可 以 监控 场景 运行 期 间 评测 的 Windows 资源 使 用 情况 
(例如 CPU 、 磁 盘 或 内 存 的 利用 率 等 ) 。 
我 们 正 是 通过 上 述 4 种 基本 图 形 来 了 解 应 用 程序 的 性 能 指标 ,监控 图 中 的 每 个 测量 值 
都 显示 在 图 例 部 分 以 不 同 颜 色 标 记 的 行 中 ,每 行 对 应 图 中 与 之 颜色 相同 的 一 条 线 。 当 我 们 
选中 一 行 测试 数据 时 ,图 中 的 相应 线条 将 突出 显示 ,反之 亦 然 。 
2) 查看 错误 信息 
如 果 负 载 过 大 ,应 用 程序 可 能 就 会 发 生 错误 。 
在 “可 用 图 ” 树 中 ,选择 错误 统计 信息 图 ,并 将 其 拖 动 到 * Windows 资源 ”图 窗 格 中 。“ 错 
误 统计 信息 ”图 提供 场景 运行 期 间 所 发 生 错 误 的 详细 数目 和 发 生 时 间 。 错 误 按照 来 源 分 组 
(例如 在 脚本 中 的 位 置 或 负载 生成 器 的 名 称 ) ,如 图 9-11 所 示 。 


错误 统计 信息 - 整个 场景 


错误 数 
NCAnm™ 


00:00:00 


931 错误 统计 信息 


在 本 例 中 ,你 可 以 看 到 5min 后 ,系统 开始 不 断 发 生 错 误 。 这 些 错 误 是 由 于 响应 时 间 延 
长 ,导致 发 生 超时 而 引起 的 。 

注意 : 场景 要 运行 几 分 钟 。 在 场景 运行 过 程 中 ,可 以 在 图 像 和 Vuser 之 间 来 回 切换 , 显 
示 联 机 结果 。 

4. 分 析 结 果 

运行 结束 后 ,LoadRunner 会 提供 带 有 深入 分 析 信 息 的 详细 图 和 报告 ,我 们 可 以 将 多 个 
场景 的 结果 组 合 在 一 起 来 比较 多 个 图 。 另 外 ,也 可 以 使 用 自动 关联 工具 ,将 所 有 包含 可 能 对 


响应 时 间 有 影响 的 数据 的 图 合并 起 来 ,准确 地 指出 问题 的 原因 。 使 用 这 些 图 和 报告 ,可 以 轻 
松 找 出 应 用 程序 的 性 能 瓶 须 ,同时 确定 需要 对 系统 进行 哪些 改进 以 提高 其 性 能 。 
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可 以 选择 “结果 ”>“ 结 果 设 置 ”或 者 单 击 工具 栏 上 的 分 析 结 果 按 钮 国 打 开 Analysis 来 查 
看 场景 结果 。 测 试 结果 保存 在 LoadRunner 安 装 位 置 \Results\tutorial_demo_res 目录 下 。 


9.2.3 创建 脚本 


1. Virtual User Generator(VuGen) 简 介 


在 测试 环境 中 ,LoadRunner 在 计算 机 上 使 用 Vuser 代替 实际 用 户 。Vuser 以 一 种 可 重 
复 、 可 预测 的 方式 模拟 典型 用 户 的 操作 ,对 系统 施加 负载 。 

LoadRunnerVirtual User Generator (VuGen) 以 “录制 和 回放 ”的 方式 工作 。 当 你 在 应 
用 程序 中 执行 业务 流程 步骤 时 ,VuGen 会 将 你 的 操作 录制 到 自动 化 脚本 中 ,并 将 其 作为 负 
载 测 试 的 基础 。 


2. 录制 用 户 操 作 的 准备 


录制 用 户 操作 ,需要 打开 VuGen 并 创建 一 个 空白 脚本 ,然后 通过 录制 操作 和 手动 添加 
增强 功能 来 增加 测试 脚本 。 

下 面 是 打开 VuGen, 创 建 一 个 空白 Web 脚本 的 步骤 。 

步骤 一 : 启动 LoadRunner。 

选择 “开始 ”> 所 有 程序 ”~LoadRunner~LoadRunner, 打 开 LoadRunner 启动 程序 窗口 。 

步骤 二 : 打开 VuGen。 

在 Launcher 窗口 中 , 单 击 负载 测试 选项 卡 , 单 击 * 创 建 > 一 编辑 "脚本 ,打开 VuGen 起 

步骤 三 ; 创建 一 个 空白 Web 脚本 。 

在 VuGen 起 始 页 的 脚本 选项 卡 中 , 单 击 新 建 Vuser 脚本 。 这 时 将 打开 “新 建 虚拟 用 户 ” 
对 话 框 ,显示 “新 建 单 协 议 脚 本 ”选项 ,如 图 9-12 所 示 。 

x 

mea [emm — 00 0 0 0007777 


协议 z 
erminal Emulation (RTE) 四 | 
lo 


EN 


图 9-12 新建 单 协议 脚本 
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协议 是 客户 端 用 来 与 系统 后 端 进行 通信 的 语言 。HP Web Tours 是 一 个 基于 Web 的 
应 用 程序 ,因此 将 创建 一 个 Web Vuser 脚本 。 

请 确保 * 类 别 ? 是 所 有 协议 ,VuGen 将 列 出 适用 于 单 协议 脚本 的 所 有 可 用 协议 。 向 下 滚 
动 列表 ,选择 Web(HTTP/VHTML) 并 单 击 创建 ,创建 一 个 空白 Web 脚本。 

注意 : 在 多 协议 脚本 中 ,高 级 用 户 可 以 在 一 个 录制 会 话 期 间 录 制 多 个 协议 。 这 里 我 们 
只 创建 一 个 Web 类 型 的 协议 脚本 ,录制 其 他 类 型 的 单 协议 或 多 协议 脚本 的 过 程 与 录制 
Web 脚本 的 过 程 类 似 ,这 里 就 不 再 珊 述 。 


3. 使 用 VuGen 向 导 模 式 


空白 脚本 以 VuGen 的 向 导 模 式 打 开 , 同 时 左 侧 显 示 任 务 窗 格 ( 如 果 没 有 显示 任务 窗 格 ， 
请 单 击 工具 栏 上 的 “任务 ”按钮 [Tass 。 如 果 * 开 始 录制 ?对 话 框 自动 打开 ,请 单 击 “ 取 消 ”) 。 

VuGen 的 向 导 将 指导 你 逐步 完成 创建 脚本 并 使 其 适应 测试 环境 的 过 程 , 任 务 窗 格 列 出 
脚本 创建 过 程 中 的 各 个 步骤 或 任务 ,如 图 9-13 所 示 , 在 你 执行 各 个 步骤 的 过 程 中 ,VuGen 
将 在 窗口 的 主要 区 域 显示 详细 说 明和 指示 信息 。 通 过 打开 任务 窗 格 并 单 击 其 中 一 个 任务 步 
又 ,可 以 随时 返回 到 VuGen 向 导 。 


r- [无 名 称 ! - Feb OTTP/NTEL)] ipi xi 


文件 {E) WAE 视图 (V) MAD Vuser(U) WEA IR) 窗口 (W) MBH) 
LR- EAL iemeRM » mou ja. BAe Lo ke bol 


is Ba 
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Aw 脚本 创建 简介 
129 ^^ VuGen HASASTEMEDIN AAN RONE: 

录制 应 用 程序 

summ 1. 录制 

局 用 应 用 程序 并 格 业 务 流程 录制 到 脚本 
2. 回放 ^00 对 于 每 个 录 抽 效 作 ，VuGen 将 创建 一 个 步骤 。 录 得 程 完成 后 ，VuGen HOR- RNDR ATAM 
ark: VuGen HE. 
E P 2. 验证 

简介 将 脚本 作为 独立 的 测试 进行 运行 凡 验 证 其 功能 并 标识 潜在 同 题 。 

事务 
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T- TWRBBEEEERI ， 请 中 过 读 页 , 并 打开 录制 ES ii 


Jove]EAP NUM ]ECRL] ， 
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a 


要 获取 帮助 ， 请 按 Fl。 Wo 


图 9-13 脚本 创建 简介 


4. 通过 录制 业务 流程 来 创建 脚本 


创建 用 户 模拟 场景 的 下 一 步 就 是 录制 实际 用 户 所 执行 的 操作 。 在 前 面 你 已 经 创建 了 一 
个 空 的 Web 脚本 。 现 在 可 以 将 用 户 操作 直接 录制 到 脚本 中 。 这 里 我 们 要 跟踪 一 个 完整 的 
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事件 : 一 名 乘客 预订 从 丹佛 到 洛杉矶 的 航班 ,然后 查看 航班 路 线 ) ,录制 脚本 的 步骤 如 下 : 
步骤 一 : 在 HP Web Tours 网 站 上 开始 录制 。 
单 击 图 9-14 任务 窗 格 中 的 录制 应 用 程序 。 在 说 明 窗 格 底部 , 单 击 开始 录制 。 也 可 以 选 
F Vuser 开始 录制 ”, 或 者 单 击 页 面 顶部 工具 栏 中 的 开始 录制 按钮 。 


[无 名 称 1 - Feb QTTEAIITILJ] lol xj 


ET RRE 视图 (V) 插入 (1) Vuser(U) MEA IAD SOW) 85) 
iR) ALa :emeRM» mucosa» ies | ER ssi 8s 


Stam | 无 名 称 1 - vet erm) | abx 
= 录制 简介 z 
E 

避 开始 之 前 
1. M 开始 录制 之 前 BÜCASNEN DUE. RCEREZEEGCUESE, 
^^ PACARE 并 定义 操作 的 可 按 受 的 同 应 时 间 。 
sem 还 有 一 点 也 很 重要 ADRARECUTUUD. SURPDEZUISUGRAREIHO— 1 3CREDT CEER 
换 作 和 注销。 这样， 每 个 用 户 可 以 狼 立 运行 ， 而 不 籽 芝 加 前 一 用 户 执 行 的 拘 作 。 
2. 回放 Mo 关于 录制 
验证 回 故 VuGen 捕获 你 在 应 用 程序 中 执行 的 所 有 招 作 。 对 控 作 进行 捕获 也 称 为 录制 。 
3. wai = At 
简介 反 个 靶 本 包含 三 个 主要 的 节 : Ini. Action 和 End. 通常，Init CASERTA. Action 包含 实际 的 BP 
EH (业务 流程 ) ，End 包 
Vusers 只 能 重复 Acton: 节 中 包 信 的 步 骆 。 因 此 ， 如 果 测试 计 划 没有 要 求 您 多 次 重复 DP, 
E 3ELSIUUSEET MESES) Action 中 但 是 如果 BP 要 求 您 多 次 重复 登录 和 注销 之 间 的 操作 ， 
het SRELIBICSOT FT HSHHE RISUS SOUS : SERRAS] Init BP, 将 BP RBE Action BP» 
将 注 情 和 滞 理 录制 加 | End 中 。 
nt t0 录制 选项 
m VuGen JtHHERBEISOURBREURE BE UM. AFASI 
aR 
HREP 有 关 洋 细 信息 ， 请 参阅 联机 帮助 。 
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£-5| T-5 开始 录制 


B: 0 [a:o EvajCaFjhuwiEcRU 


图 9-14 “开始 录制 ”对 话 框 


在 打开 的 “开始 录制 "对话 框 的 URL 地 址 框 中 输入 http://localhost:1080/WebTours， 
在 “录制 到 操作 ”对 话 框 中 ,选择 Action, 如 图 9-15 所 示 , 单 击 “ 确 定 ” 按 钮 。 这 时 将 打开 一 个 
新 的 Web 浏览 窗口 并 显示 HP Web Tours 网 站 登录 页 面 。 同 时 ,LoadRunner 将 打开 浮动 
的 “正在 录制 "工具 栏 ,如 图 9-16 所 示 。 

步骤 二 : 登录 HP Web Tours 网 站 。 


iE: 
EDSEEERER QU): [mee SAEF x] 
Ooo E 
WRL Hi QD- FREE 可 
工作 目录 中 : RII d 
REBNMEQS [um v] sew. 
IV 录制 诺 用 程序 启动 OA 
mo] mm 


图 9-15 “开始 录制 ”对话 框 设置 
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图 9-16 正在 录制 工具 栏 


输入 用 户 名 jojo 和 密码 bean, 单 击 Login( 登 录 ) 打 开 欢 迎 页 面 。 
步骤 三 : 输入 航班 详细 信息 。 
单 击 Flights (航班 ) 打 开 Find Flight( 查 找 航班 ) 页 面 , 填 人 如 下 信息 : 
。 Departure City( 出 发 城市 ) : Denver( 丹 佛 ,默认 值 )。 
。 Departure Date( 出 发 日 期 ): 保持 默认 值 (当前 日 期 ) 。 
* Arrival City( 到 达 城 市 ) : Los Angeles( 洛 杉 矶 ) 。 
。 Return Date( 返 回 日 期 ): 保持 默认 值 (第 二 天 的 日 期 ) 。 
。 Seating Preference( 首 选 座位 ): Aisle( 靠 近 过 道 ) 。 
请 保持 其 余 选 项 的 默认 设置 不 变 并 单 击 Continue( 继 续 ) ,打开 Search. Results( 搜 索 结 
果 ) 页 面 。 
步骤 四 : 选择 航班 。 
单 击 Continue( 继 续 ) 接 受 默认 航班 选择 ,打开 Payment Details 3 f BH 4D 页面。 
步骤 五 : 输入 支付 信息 并 预订 机 票 。 
在 Credit Card( 信 用 卡 ) 框 中 输入 12345678, 并 在 Exp Date( 到 期 日 ) 框 中 输入 06/10, 
单 击 Continue (继续 ) 打 开 Invoice( 发 票 ) 页 面 ,显示 你 的 发 票 。 
步骤 六 ; 查看 航班 路 线 。 
单 击 左 窗 格 中 的 Itinerary( 路 线 ) 打 开 Itinerary( 路 线 ) 页 面 。 
步骤 七 : 单 击 左 窗 格 中 的 Sign Off( 注 销 ) 退 出 程序 。 
步骤 八 : 在 浮动 工具 栏 上 单 击 停止 国 .结束 录制 过 程 。 
录制 停止 后 会 弹出 “代码 生成 ”窗口 .里面 的 内 容 是 刚刚 生成 的 Vuser 脚本 , 接 下 来 ， 
VuGen 向 导 会 自动 执行 任务 窗 格 中 的 下 一 步 ,并 显示 关于 录制 情况 的 概要 信息 ,如 图 9-17 
所 示 ( 如 果 看 不 到 概要 信息 ,请 单 击 任务 窗 格 中 的 录制 概要 ) 。 
“录制 概要 ”包含 协议 信息 以 及 会 话 期 间 创建 的 一 系列 操作 ,VuGen 为 录制 期 间 执行 的 
每 个 步骤 生成 一 个 快照 , 即 录制 期 间 的 窗口 图 片 。 
这 些 录制 的 快照 以 缩 略 图 的 形式 显示 在 右 窗 格 中 。 如 果 由 于 某 种 原因 要 重新 录制 脚 
本 ,可 单 击 页 面 底部 的 “重新 录制 ?按钮 。 
步骤 九 : 保存 测试 文件 。 
选择 “文件 >“ 保存” 或 单 击 “ 保 存 ” 按 钮 国 ,在 “文件 名 ” 框 中 输入 Basic_Tutorial 并 单 
击 “ 保 存 ” 按 钮 。VuGen 将 该 文件 保存 到 LoadRunner 脚本 文件 夹 中 ,并 在 标题 栏 中 显示 脚 
本 名 称 。 


5. 查看 脚本 


我 们 可 以 在 树 视图 或 脚本 视图 中 查看 刚刚 录制 的 测试 脚本 。 树 视图 是 一 种 基于 图 标的 
视图 ,将 Vuser 的 操作 以 步骤 的 形式 列 出 ,而 脚本 视图 是 一 种 基于 文本 的 视图 ,将 Vuser 的 
操作 以 函数 的 形式 列 出 。 
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BHP Virtual User Generator - [无 名 称 ! — Feb ONTTP/HTNL)] 
EED 编辑 (E) CAEN) MAM Vussr(U) BEA TA) 窗口 (NX) EAH) 
iR- SAL i orere m o alial Sla Es a ea onan isea 


EN | 无 名 称 1 - Web (HTTP/HTML) | 
任务 x 
T 录制 概要 < 
1.308 了 * 协议 
* RMSESE 在 录制 会 放 过程 中 检测 到 以 下 协议 ; 
= ew LII etas 
2. 回放 g Web (HTTP/HTML) Vv 
Enid A login pl 
操作 
EL E 录制 会 话 时 已 创建 以 下 操作 ; QQ 
简介 LIII EERME S anz 
E user ini : 
参数 化 Action v 
ee user en 
a 有 关 详 细 的 录制 信息 ， 请 打开 录制 日 志 
4. SHE Search Flights Button 
Mir BSRETTFMASPSS EN, 
x*ü EEDGEGHEUDREE NTFS RS Ll 
REAP JoRAGEWRA, Us “重新 录 制 ”录制 溉 业务 流 程 TT 
5. 完 成 F X. 
完成 
常规 * ne] 
menm reservations. pl 
t-# | 下 一 步 | [al 
E - 
要 获 了 帮助, 诸 按 F1. | A: 1 mia lins jcaplNuwlScRU 
图 9-17 “录制 概要 ”窗口 
1) 树 视图 


要 在 树 视图 中 查看 脚本 ,请 选择 “视图 ”>“ 树 视图 ”, 或 者 单 击 “ 树 视图 ”按钮 。 要 在 整个 
窗口 中 查看 树 视图 ,请 单 击 “ 任 务 ” 按 钮 隐 去 任务 窗 格 。 

对 于 录制 期 间 执行 的 每 个 步骤 ,VuGen 在 测试 树 中 为 其 生成 一 个 图 标 和 一 个 标题 。 在 
树 视图 中 ,你 将 看 到 以 脚本 步骤 的 形式 显示 的 用 户 操作 。 大 多 数 步 骤 都 附带 相应 的 录制 快 
照 。 快 照 使 脚本 更 易于 理解 ,更 方便 在 工程 师 间 共享 ,还 可 以 通过 比较 快照 来 验证 脚本 的 准 
确 性 。 在 回放 过 程 中 ,VuGen 也 会 为 每 个 步骤 创建 快照 。 

单 击 图 9-18 测试 树 中 任意 步骤 旁边 的 加 号 (十 ) ,可 以 看 到 在 预订 机 票 时 录制 的 思考 时 

“思考 时 间 ” 表 示 你 在 各 步骤 之 间 等 待 的 实际 时 间 , 可 用 于 模拟 负载 下 的 快速 和 慢 速 用 
户 操 作 ,“ 思 考 时 间 ” 这 种 机 制 可 以 让 负载 测试 更 加 准确 地 反映 实际 用 户 操 作 。 

2) 脚本 视图 

脚本 视图 是 一 种 基于 文本 的 视图 ,以 API 函数 的 形式 列 出 Vuser 的 操作 。 要 在 脚本 视 
图 中 查看 脚本 ,请 选择 “视图 ”>“ 脚 本 视图 ”, 或 者 单 击 “ 和 脚本 视图 ”按钮 国 |。 

如 图 9-19 所 示 的 脚本 视图 中 ,VuGen 在 编辑 器 中 显示 脚本 ,并 用 不 同 颜色 表示 函数 及 
其 参数 值 。 可 以 在 该 窗口 中 直接 输入 C 或 LoadRunnerAPI 函数 以 及 控制 流 语句 。 
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图 9-19 脚本 视图 


9.2.4 回放 脚本 

1. 设置 运行 时 行为 

通过 LoadRunner 运行 时 设置 ,可 以 模拟 各 种 真实 用 户 活动 和 行为 。 例 如 ,你 可 以 模拟 
-个 对 服务 器 输出 立即 做 出 响应 的 用 户 , 也 可 以 模拟 一 个 先 停 下 来 思考 ,再 做 出 响应 的 用 
户 。 另 外 ,还 可 以 配置 Vuser 应 该 重复 一 系列 操作 的 次 数 和 频率 。 

这 里 我 们 将 讨论 适用 于 所 有 类 型 脚本 的 一 般 运行 时 设置 。 其 中 包括 : 

。 运 行 罗 辑 : 重复 次 数 。 

。 步 : 两 次 重复 之 间 的 等 待 时 间 。 

。 思 考 时 间 : 用 户 在 各 步 又 之 间 停 下 来 思考 的 时 间 。 

- Hk. 希望 在 回放 期 间 收 集 的 信息 的 级 别 。 

下 面 我 们 来 对 这 些 属 性 进行 设置 。 步 骤 如 下 : 

JR. 打开 * 运 行 时 设置 "对 话 框 。 

确保 任务 窗 格 出 现 (如 果 未 出 现 ,请 单 击 “任务 ”按钮 )。 单 击 任务 窗 格 中 的 “验证 回放 ”。 
在 说 明 窗 格 内 的 标题 运行 时 设置 下 单 击 打开 运行 时 设置 超 链接 。 也 可 以 按 F4 键 或 单 击 工 
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E 
"n 这 时 将 打开 “运行 时 设置 "对话 框 ,如 图 9-20 所 示 。 


运行 时 设置 


图 9-20 “运行 时 设置 ”对话 框 


步骤 二 : 打开 “运行 逻辑 ”设置 。 

选择 运行 逻辑 节点 。 在 此 节点 中 设置 迭代 次 数 或 连续 重复 活动 的 次 数 。 将 迭代 次 数 设 
置 为 2, 如 图 9-21 所 示 。 

步骤 三 : 步 设置 。 

步 节点 用 于 控制 迭代 时 间 间 隔 , 在 “运行 时 设置 ”对话 框 中 选择 “ 步 " 节 点 ,如 图 9-22 所 
示 。 我 们 可 以 指定 一 个 随机 时 间 来 准确 模拟 用 户 在 操作 之 间 等 待 的 实际 时 间 ( 但 使 用 随机 
时 间 间 隔 时 ,很 难看 到 真实 用 户 在 重复 之 间 恰 好 等 待 60s 的 情况 )。 


图 9-21 运行 逻辑 图 9-22 步 设置 


这 里 我 们 选择 第 三 个 选项 并 选择 下 列 设置 : 时 间 随 机 ,间隔 60.00 到 90. 00 $. 
步骤 四 : 配置 日 志 设 置 。 
在 “运行 时 设置 "对话 框 中 选择 日 志 节 点 ,如 图 9-23 所 示 。 
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-常规 : 日 志 
Iv 启用 日 志 记 录 QD 


日 志 选 项 
[2 C 羽 在 出 错时 发 送 消息 旭 ) SL OD: 
Ta (C HBEURYEMBE QD 
按 以 下 详细 级 别 记录 消息 
个 标准 日 志 GO 
c 扩展 日 志 


图 9-23 HERE 


日 志 设置 指出 要 在 运行 测试 期 间 记 录 的 信息 量 。 开 发 期 间 , 你 可 以 选择 启用 日 志 记录 
来 调试 脚本 ,但 在 确认 脚本 运行 正常 后 ,只 能 用 于 记录 错误 或 者 禁用 日 志 功能 。 

这 里 我 们 选择 “扩展 日 志 ” 并 启用 ”参数 替换 ”。 

步骤 五 : 查看 “思考 时 间 ” 设 置 。 

在 “运行 时 设置 ?对 话 框 中 选择 思考 时 间 节点 ,如 图 9-24 所 示 。 


EN 
思考 时 间 选 项 
C JUR BARTH D 
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c 将 录 利 思 郑 时 间 乘 以 DD: RF H 
C CARESTIE AE E 


EMAD: E 习 % 及 大 从 入 [EJ ED 
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图 9-24 思考 时 间 节 点 


思考 时 间 可 以 在 Controller 中 设置 ,这 里 我 们 不 做 任何 改动 。 
注意 : 在 VuGen 中 运行 脚本 时 速度 很 快 ,因为 它 不 包含 思考 时 间 。 
步骤 六 : 单 击 “ 确 定 ” 按 钮 关闭 “运行 时 设置 "对话 框 。 


2. 实时 查看 脚本 运行 情况 


回放 录制 的 脚本 时 ,VuGen 的 “运行 时 查看 器 ”功能 实时 显示 Vuser 的 活动 情况 。 查 看 
器 不 是 实际 的 浏览 器 , 它 显 示 的 是 返回 到 Vuser 的 页 面 快照 。 默 认 情 况 下 ,VuGen 在 后 台 


运行 测试 ,不 显示 脚本 中 的 操作 动画 。 


这 里 ,我 们 要 让 VuGen 在 查看 器 中 显示 操作 ,从 而 能 够 看 到 VuGen 如 何 执行 每 一 步 。 


具体 设置 步骤 如 下 : 
步骤 一 : 选择 “工具 ”>“ 常 规 ”>“ 显 示 ” 选 项 卡 ,打开 “常规 选项 ”对 话 框 ,如 图 9-25 所 示 。 


步骤 二 : 选择 回放 期 间 显示 浏览 器 和 自动 排列 窗口 选项 。 
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步骤 三 : 单 击 “确定 ”按钮 关闭 “常规 选项 ”对 话 框 。 

步骤 四 : 在 任务 窗 格 中 单 击 “ 验 证 回放 ”按钮 ,然后 单 击 说 明 窗 格 底部 的 “开始 回放 ” 按 
钮 。 也 可 以 按 F5 键 或 单 击 工 具 栏 中 的 “运行 ”按钮 圈 。 

步骤 五 : 如 果 “ 选 择 结果 目录 ”对 话 框 打开 ,并 询问 要 将 结果 保存 到 何 处 ,请 接受 默认 名 
称 并 单 击 “ 确 定 ” 按 钮 。 

稍 后 VuGen 将 打开 运行 时 查看 器 ,并 开始 运行 脚本 视图 或 树 视图 中 的 脚本 (具体 取决 
于 上 次 打开 的 脚本 )。 在 “运行 时 查看 器 "中 ,可 以 直观 地 看 到 Vuser 的 操作 。 注 意 回放 的 
步 又 顺序 是 否 与 录制 的 步骤 顺序 完全 相同 。 


3. 查看 回放 信息 


当 脚 本 停止 运行 后 ,你 可 以 在 向 导 中 查看 关于 这 次 回放 的 概要 信息 。 要 查看 上 次 回放 
概要 ,请 单 击 “ 验 证 回放 ”按钮 ,如 图 9-26 所 示 。 


上 次 回放 概要 


结果 目录 : resulti 
awis: 未 检测 到 错误 


ATTENTION; stis RT HR. (ER, 
您 应 通过 比较 右 窗 格 中 的 回族 快 昭和 已 录制 快 明 来 确保 业务 流程 已 正确 回放。 


动态 服务 器 值 (关联): 
VuGen 检测 画 肢 本 中 存在 一 个 或 多 个 动态 值 。 
加 果 服 务 器 所 预期 的 唯一 值 与 录制 的 信 不 同 ， 则 蛇 可 能 会 在 回 衣 过 程 中 过 到 问题 。 


了 解 有 关头 联 的 详 组 信 
ÉUSE VuGen 所 愉 而 到 的 动 态 值 列表 
FER eT RE 


验证 ， Ta 
要 检查 回放 是 否 蕉 确 模拟 了 所 录制 的 会 话 ， 请 比较 右 全 格 中 的 回放 快 隔 和 己 录 制 快 下 " EE š zi 


TERT UURIIR SE BIETEO ERIS B. 方法 是 通过 SDLUAISUERES, ae SE EE E 


要 查看 或 修改 脚本 ， SUBIRE. 


使 用 运行 时 设置 模拟 回放 过 程 中 不 同 用 户 的 行为 。 


再 次 回放 ELEM... gp” — gt = 


[s] 


图 9-26 上 次 回放 概要 
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“上 次 回放 概要 ” 列 出 了 检测 到 的 所 有 错误 ,并 显示 录制 和 回放 快照 的 缩 略图 。 我 们 可 
以 通过 比较 快照 的 方式 找 出 录制 的 内 容 和 回放 的 内 容 之 间 的 差异 。 也 可 以 通过 复查 事件 的 
文本 概要 来 查看 Vuser 操作 。 输 出 窗口 中 VuGen 的 “回放 日 志 ” 选 项 卡 用 不 同 的 颜色 显示 
这 些 信息 。 

查看 回放 日 志 的 操作 步骤 如 下 : 

步骤 一 : 单 击 说 明 窗口 中 的 “回放 日 志 ” 超 链接 ,也 可 以 单 击 工具 栏 中 的 “显示 /隐藏 " 输 
出 按钮 加 ,或 者 在 菜单 中 选择 “视图 ”>“ 输 出 窗口 ”, 然 后 单 击 “ 回 放 日 志 ” 选 项 卡 , 就 可 以 看 
到 如 图 9-27 所 示 的 回放 日 志 内 容 。 


irtual User Seint attad at : 2 
在 开始 操作 vus 
9 17:36:28) — [llsgId:; NNSC-27: 


Aft V default. cfg [MsgId: JISG-27141 


向 深度 为 0) Apt: NIS0-26604] 
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st:1080/webtours/header. htn1" [sgld 
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步骤 二 : 在 回放 日 志 中 按 Ctrl 十 F 组 合 键 打开 “查找 ”对 话 框 。 找 到 下 列 内 容 : 
。 启 动 , 终 止 。 它 们 表示 脚本 运行 的 开始 和 结束 ,也 即 虚拟 用 户 脚本 已 启动 .Vuser 已 
终止 。 

o 和 迭代 。 和 迭代 的 开始 和 结束 以 及 和 迭代 编号 (橙色 字体 部 分 ) 。 

VuGen 用 绿色 显示 成 功 的 步骤 ,用 红色 显示 错误 。 例 如 ,如 果 在 测试 过 程 中 连接 中 断 ， 
VuGen 将 指出 错误 所 在 的 行 号 并 用 红色 显示 整 行文 本 。 

步骤 三 : 双击 回放 日 志 中 的 某 一 行 。VuGen 将 转 至 脚本 中 的 对 应 步骤 ,并 在 脚本 视图 
中 突出 显示 此 步骤 。 


4. 查看 测试 结果 


回放 录制 的 事件 后 ,需要 查看 结果 以 确定 是 否 全 部 成 功 通过 。 如 果 某 个 地 方 失败 , 则 需 
要 知道 失败 的 时 间 以 及 原因 。VuGen 会 在 “测试 结果 ”窗口 中 显示 回放 结果 概要 信息 。 查 
看 测试 结果 的 操作 步骤 如 下 : 

步骤 一 : 返回 到 向 导 ,请 单 击 任务 窗 格 中 的 “验证 回放 ”按钮 。 

步骤 二 : 在 标题 验证 下 的 说 明 窗 格 中 , 单 击 “ 可 视 测 试 结果 ” 超 链 接 , 也 可 以 选择 “ 视 
图 ”一 "测试 结果 ”, 打 开 一 个 新 的 结果 窗口 ,如 图 9-28 所 示 。 

“测试 结果 ”窗口 首次 打开 时 包含 两 个 窗 格 :“ 树 ” 窗 格 ( 左 侧 ) 和 “概要 ” 窗 格 ( 右 侧 )。 
“ 树 ” 窗 格 包含 结果 树 , 每 次 迭代 都 会 进行 编号 。“ 概 要 ” 窗 格 包 含 关于 测试 的 详细 信息 。 
图 9-28 中 有 两 个 表 , 上 面 的 表 指出 哪些 迭代 通过 了 测试 ,哪些 未 通过 。 如 果 VuGen 的 
Vuser 按照 原来 录制 的 操作 成 功 执行 HP Web Tours 网 站 上 的 所 有 操作 , 则 认为 测试 通过 。 
下 面 的 表 指出 哪些 事务 和 检查 点 通过 了 测试 ,哪些 未 通过 。 
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结果 名 称 : resultl 
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已 开始 运行 : 2009-6-12 163653 
已 结 东 运行 :2009.6-12- 16:38:40 
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5. 测试 结果 的 搜索 和 筛选 


如 果 测 试 结果 表明 有 些 地 方 失败 ,我 们 就 要 深入 分 析 测 试 结果 并 找 出 失败 的 地 方 。 在 
“测试 结果 ”窗口 中 ,可 以 展开 测试 树 并 分 别 查看 每 一 步 的 结果 ,“ 测 试 结果 ”窗口 还 会 显示 和 
代 期 间 的 回放 快照 。 要 想 详 细 查 看 测试 结果 ,可 以 通过 以 下 几 种 方式 进行 : 

D 展开 迭代 分 支 

展开 编号 为 1 的 分 支 迭 代 , 然 后 单 击 加 号 展开 左 窗 格 中 的 操作 概要 分 支 。 展 开 的 分 支 
将 显示 这 次 迭代 中 执行 的 一 系列 步骤 。 

2) 显示 结果 快照 

选择 Submit Form( 提 交 表 单 ) 这 一 步 ,测试 结果 ?窗口 将 显示 与 该 步骤 相关 的 回放 快 
照 , 如 图 9-29 所 示 。 

3) 查看 步骤 概要 

“测试 结果 ”窗口 的 右上 窗 格 显示 步骤 概要 信息 : 对 象 或 步骤 名 .关于 页 面 加 载 是 否 成 
功 的 详细 信息 、 结 果 ( 通 过 失败、 完成 或 警告 ) 以 及 步骤 执行 时 间 。 

4) 搜索 结果 状态 

你 可 以 使 用 关键 字 通 过 或 失败 搜索 测试 结果 ,例如 当 整 个 结果 概要 表明 测试 失败 时 ,你 
可 以 确定 失败 的 位 置 。 我 们 可 以 通过 选择 “工具 ”>“ 查 找 ”, 或 者 单 击 查找 按钮 改 ,打开 “ 查 
找 ” 对 话 框 来 进行 搜索 ,如 图 9-30 所 示 。 
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ISIT RAAL ei? 
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步骤 名 称 : Submit Form: login.pl 
HR 通过 


对 象 详细 信息 结果 时 间 
步 要 已 成 功 完成 。 通过 。 2009-6.12- 163724 


Submit Form: login pl 


UJ webTours 


Welcome, jojo, to the Web Tours reservation 


pages. 

Sign On Using the menu to the left, you can search for 
new flights to book, or review/edit the flights 
already booked. Don't forget to sign off when 
youre done! 


Hic: 1 
要 获取 帮助 ,请 按 Fl BE | | 
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选择 “通过 ?选项 ,确保 未 选择 其 他 选项 ,然后 单 击 “ 查 找 下 一 个 按钮。 结果 窗口 将 显示 
第 一 个 状态 为 通过 的 步骤 。 

再 次 选择 “工具 ”一 “查找 ”, 或 者 单 击 “查找 ?按钮 。 在 “查找 ”对话 框 中 ,选择 “失败 选 
项 ,不 选择 “通过 ”选项 ,然后 单 击 “ 查 找 下 一 个 ”按钮 ,结果 窗口 未 找到 任何 失败 的 结果 。 

DE 筛选 结果 

使 用 “筛选 器 "可 以 筛选 “测试 结果 ”窗口 来 显示 特定 的 迭代 或 状态 。 例 如 ,可 以 进行 第 
选 以 便 仅 显示 失败 状态 。 选 择 “ 查 看 ”一 “筛选 器 ”, 或 者 单 击 筛 选 器 按钮 国 将 打开 “筛选 
器 ”对 话 框 ,如 图 9-31 所 示 。 
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图 9-30 “查找 ”对 话 框 图 9-31 “筛选 器 "对话 框 
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在 状态 部 分 选择 “失败 ”选项 ,不 选择 任何 其 他 选项 。 在 内 容 部 分 选择 “全 部 ”并 单 击 “ 确 
定 ” 按 钮 。 因 为 没有 失败 的 结果 ,所 以 左 窗 格 为 空 。 

6) 关闭 “测试 结果 ”窗口 

选择 "文件 ”一 “退出 ”。 


9.2.5 负载 测试 的 脚本 


在 前 面 章节 中 我 们 已 经 实时 观看 了 脚本 的 回放 并 验证 了 Vuser 执行 的 是 典型 业务 流 
程 ,验证 了 脚本 是 应 用 程序 的 精确 模拟 。 但 是 ,这 只 适用 于 单个 用 户 的 模拟 情况 。 当 多 个 用 
户 同时 使 用 应 用 程序 时 ,应 用 程序 的 运行 情况 和 性 能 指标 是 否 稳定 呢 ? 

接 下 来 我 们 将 为 负载 测试 准备 脚本 ,并 设置 该 脚本 以 收集 响应 时 间 数 据 。 


1. 评测 业务 流程 


在 准备 部 署 应 用 程序 时 ,你 需要 估计 具体 业务 流程 的 持续 时 间 , 如 登录 预订 机 票 等 要 花 
费 多 少时 间 。 这 些 业 务 流程 通常 由 脚本 中 的 一 个 或 多 个 步骤 或 操作 组 成 。 在 LoadRunner 
中 ,用 事务 的 概念 来 定义 一 系列 要 进行 评测 的 操作 。 

LoadRunner 收集 关于 事务 执行 时 间 的 信息 ,并 将 结果 显示 在 用 不 同 颜色 标识 的 图 和 
报告 中 ,你 可 以 通过 这 些 信 息 了 解 应 用 程序 是 否 符 合 最 初 的 要 求 。 

在 编写 测试 脚本 的 过 程 中 ,测试 人 员 可 以 在 脚本 中 的 任意 位 置 手 动 插入 事务 。 标 记 为 
事务 的 方法 是 : 在 事务 的 第 一 个 步骤 前 面 放置 一 个 开始 事务 标记 ,并 在 最 后 一 个 步骤 后 面 
放置 一 个 结束 事务 标记 。 

下 面 ,我 们 在 脚本 中 插入 一 个 事务 来 计算 用 户 查 找 和 确认 航班 所 花费 的 时 间 。 打 开 在 
9.2.3 小 节 中 创建 的 脚本 Basic Tutorial ,插入 事务 的 具体 步骤 如 下 : 

步 又 一 : 打开 事务 创建 向 导 。 

确保 出 现任 务 窗 格 ,如 果 未 出 现 ,请 单 击 “ 任 务 ” 按 钮 。 在 任务 窗 格 的 增强 功能 下 单 击 
“事务 ”, 将 打开 事务 创建 向 导 , 事 务 创 建 向 导 显 示 脚 本 中 不 同步 又 的 缩 略 图 ,如 图 9-32 
所 示 。 
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图 9-32 事务 创建 向 导 
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单 击 “ 新 建 事务 ”按钮 就 可 以 将 事务 标记 拖 放 到 脚本 中 的 指定 位 置 ,向 导 会 提示 你 插入 
事务 的 起 始点 。 

步骤 二 : 插入 事务 开始 标记 和 事务 结束 标记 。 

使 用 鼠标 将 事务 开 括号 拖 到 名 为 Search flights button 的 第 三 个 缩 略图 前 面 并 单 击 将 
其 放下 ,向 导 现 在 将 提示 你 插入 结束 点 。 使 用 鼠标 将 事务 闭 括号 拖 到 名 为 reservations, pl_2 
的 第 5 个 缩 略 图 后 面 并 单 击 将 其 放下 。 

步骤 三 : 指定 事务 名 称 。 

在 向 导 的 提示 下 输入 事务 名 称 find_confirm_flight, 创 建 一 个 新 事务 ,如 图 9-33 Bros 
如 果 想 调整 事务 的 内 容 , 可 以 通过 将 标记 拖 到 脚本 中 的 不 同位 置 来 调整 事务 的 起 始点 或 结 
束 点 ; 通过 单 击 事务 起 始 标记 上 方 的 现 有 名 称 并 输入 新 名 称 , 还 可 以 重 命名 事务 。 
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图 9-33 事务 find confirm flight 


步骤 四 : 在 树 视图 中 观察 事务 。 — 
BAR WIES HEU RORdST APER REO "px Dm. 
图 "按钮 天 进入 树 视图 。 请 注意 开始 事务 标记 和 结束 事 。。 S BEEEEESUETUENIES 
务 标 记 现 在 如 何 作为 新 步骤 添加 到 树 中 ,并 且 正好 添加 到 i Rem pa ics e 


插入 事务 的 位 置 ,如 图 9-34 所 示 。 i 
S-S Submit Form: reservations. p1_3 
个 B] Image: Itinerary Button 
2. 模拟 多 个 用 户 a Tiie SienDff Dt 


在 模拟 场景 中 ,跟踪 一 位 预订 机 票 并 选择 靠近 过 道 座 图 9-34 树 视图 中 的 事务 
位 的 用 户 , 但 在 实际 生活 中 ,不 同 的 用 户 会 有 不 同 的 喜好 
习惯 。 要 改进 测试 ,需要 检查 当 用 户 选 择 不 同 的 座位 首选 项 (靠近 过 道 . 靠 窗 或 无 ) 时 ,是 否 
可 以 正常 预订 。 为 此 需要 对 脚本 进行 参数 化 。 这 意味 着 你 要 将 录制 的 值 Aisle 替换 为 一 个 
参数 ,将 参数 值 放 在 参数 文件 中 。 运 行 脚本 时 ,Vuser 从 参数 文件 中 取 值 (Aisle、Window 或 
None) ,从 而 模拟 真实 的 旅行 社 环境 。 

参数 化 脚本 步骤 如 下 : 
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步骤 一 : 找到 要 更 改 数据 。 


选择 “视图 ”>“ 树 视图 ”进入 树 视图 ,在 测试 树 中 双击 Submit Data: reservations. pl 步骤 
将 打开 “提交 表单 步 又 属性 ”对 话 框 ,如 图 9-35 所 示 , 右 列 中 的 ABC 图 标 表 示 参 数 是 常量 。 
步骤 二 : 指定 常量 值 转 为 变量 值 。 


选择 第 7 行 中 的 seatPref, 单 击 Aisle 旁边 的 ABC 图 标 ,打开 “选择 或 创建 参数 ”对 话 
框 ,如 图 9-36 所 示 。 


提交 表单 步 村 尾 性 


xi 


[2 |depatbate — 06/13/2003 
Los Angeles 


ELIITIIJ aix 


sesto: EEA 3 


ensup. [m zJ 
mao: ma， 
取消 HN m | Bum. 


图 9-35 “提交 表单 步骤 属性 对话 框 图 9-36 “选择 或 创建 参数 ”对 话 框 
步骤 三 : 创建 参数 。 


使 用 File 参数 类 型 指定 参数 名 seat, 单 击 “ 确 定 ” 按 钮 ,VuGen 将 用 参数 图 标 国 如 替换 
ABC 图 标 。 


步骤 四 : 单 击 seat 旁边 的 参数 图 标 并 选择 参数 属性 ,打开 “参数 属性 "对话 框 ,如 图 9-37 
所 示 。 


步骤 五 : 指定 一 些 示 例 值 来 更 改 数据 。 


单 击 “* 添 加 行 ",Vuser 将 向 表 中 添加 行 ,用 Window 替换 Value。 单 击 “ 添 加 行 ”,Vuser 
将 向 表 中 添加 行 ,用 None 替换 Value, 如 图 9-38 所 示 。 


步骤 六 : 定义 测试 更 改 数据 的 方式 。 


接受 默认 设置 ,让 VuGen 为 每 次 迭代 取 顺 序 值 而 不 是 随机 值 。 这 里 有 两 个 选项 : 
。 选择 下 一 行 : 顺序 。 


。 值 更 新 时 间 : 每 次 迭代 。 
PRE: 关闭 “参数 属性 ?对 话 框 ,然后 单 击 * 确 定 "按钮 关闭 "步骤 属性 对话 框 。 
座位 首选 项 创建 参数 完成 ,运行 负载 测试 时 Vuser 将 使 用 参数 值 ,而 不 是 录制 的 值 


Aisle。 运 行 脚本 时 ,回放 日 志 会 显示 每 次 欠 代 发 生 的 参数 替换 。 请 注意 : BT GET 
Vuser 选择 Aisle, 第 二 次 迭代 时 选择 Window, 


3. 验证 Web 页 面 内 容 


运行 测试 时 ,常常 需要 验证 某 些 内 容 是 否 出 现在 返回 的 页 面 上 ,LoadRunner 使 


P» mmi 
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图 9-37 “参数 属性 "对话 框 


检查 机 制 验 证 脚本 运行 时 Web 页 面 上 是 否 出 现 期 望 的 信息 ,内 容 
检查 机 制 有 两 种 类 型 ; 

。 文本 检查 : 检查 文本 字符 串 是 否 出 现在 Web 页 面 上 。 

。 图 像 检查 : 检查 图 像 是 否 出 现在 Web vati E; 

这 里 我 们 要 添加 文本 检查 ,检查 Find Flight 是 否 出 现在 脚本 
中 的 订 票 页 面 上 。 插 入 文本 检查 步骤 如 下 : 

步骤 一 : 打开 文本 检查 向 导 。 

确保 出 现任 务 窗 格 ,如 果 未 出 现 , 请 单 击 “ 任 务 ” 按 钮 。 在 任务 
窗 格 的 增强 功能 下 单 击 “ 内 容 检查 ”, 内 容 检查 向 导 打开 ,显示 脚本 中 每 个 步 又 的 缩 略 图 。 选 
择 右 窗 格 中 的 页 面 视图 选项 卡 以 显示 缩 略图 的 快照 ,如 图 9-39 所 示 。 

步骤 二 : 选择 包含 待 检查 文本 的 页 面 。 

单 击 名 为 reservations. pl 的 第 4 个 缩 略图 。 

步骤 三 : 选择 要 检查 的 文本 。 

突出 显示 快照 内 的 文字 Find Flight, 选 中 文字 , 右 击 并 选择 “添加 文本 检查 ”。 打 开 “ 查 
找 文本 ”对 话 框 ,显示 在 查找 选 定 内 容 框 中 选 定 的 文本 , 单 击 “确定 ”按钮 。 

步骤 四 : 查看 新 步骤 。 

VuGen 在 树 视图 的 脚本 中 插入 了 一 个 新 步骤 Service: Reg Find, 它 主要 进行 注册 文本 
的 检查 (LoadRunner 将 在 运行 步骤 后 检查 文本 )。 回 放 期 间 , VuGen 将 查找 文本 Find 


图 9-38 ”添加 数据 
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选择 文本 并 添加 文本 检查 


BIETET 28-7 3l 
录制 快照 


UJ webTour 


Search Flights Button 


[; 3 
(mew 司 Find Flight BIERE Geb reg_fina) 
[|| | £—— | EMEXAEO [os angele 
| ( Home ) SUD. 
(^ Signor ) 查看 源 
| - e| 
| G Blue Sky Ar 030 Bam 
reservations pl | C Blue Sky Air 031 1pm 
| C Blue Sky Air 032 5pm 
= C Blue Sky Air 033 11pm 


图 9-39 页 面 视图 
Flight 并 在 回放 日 志 中 指出 是 否 找到 。 
4. 生成 调试 信息 


在 测试 运行 的 某 些 时 候 ,经 常 需 要 向 输出 设备 发 送 消息 ,以 指出 


当前 位 置 和 其 他 信息 ， 
这 些 输出 消息 会 出 现在 回放 日 志和 Controller 的 输出 窗口 中 。 


要 确定 是 否 发 出 错误 消息 ,应 该 先 查找 失败 状态 ,如果 状态 为 失败 ”, 就 让 VuGen 发 出 
错误 消息 。 

下 面 我 们 将 指示 VuGen 在 应 用 程序 完成 一 次 完整 的 预订 后 插入 一 条 输出 消息 。 插 入 
输出 消息 的 步骤 如 下 : 

选择 最 后 


-个 步骤 Image: SignOff Button ,在 右边 打开 快照 。 
步骤 二 : 插入 一 条 输出 消息 。 


选择 “插入 ”一 “新 建 步骤 ”, 打 开 “ 添 加 步骤 ”对 话 框 ,选择 输出 消息 , 单 击 “ 确 定 ” 按 钮 , 打 
开 “ 输 出 消息 ”对 话 框 ,如 图 9-40 所 示 。 


ax 
参数 列表 | 
E 消息 文本 ; The flight was bocked | 
t xum 0 — — | 
—m | 


图 9-40 “输出 消息 ”对 话 框 
步 又 三 : 输入 消息 内 容 。 


在 消息 文本 框 中 ,输入 The flight was booked 并 单 击 “ 确 定 ” 按 钮 ,输出 消息 将 添加 到 树 中 。 
步骤 四 : 保存 脚本 。 
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注意 ; 要 插入 错误 消息 ,可 重复 上 述 步 骤 , 不 同 之 处 在 于 要 在 “添加 步骤 ?对 话 框 中 选择 
错误 消息 而 不 是 输出 消息 。 


5. 验证 测试 是 否 成 功 


经 过 上 述 诸多 步骤 的 设置 ,负载 测试 脚本 基本 设置 完成 ,下面 我 们 将 运行 增强 的 脚本 并 
查看 回放 日 志 来 检查 文本 和 图 像 。 

默认 情况 下 ,由 于 图 像 检查 需要 占用 更 多 内 存 , 在 回放 期 间 会 将 其 禁用 。 如 果 要 执行 图 
像 检 查 ,需要 在 运行 时 设置 中 启用 此 项 检查 。 

步骤 一 : 启用 图 像 检查 。 

打开 运行 时 设置 并 选择 Internet 协议 : 首选 项 节点 。 选 择 启用 图 像 和 文本 检查 , 单 击 
“确认 ”按钮 关闭 “运行 时 设置 "对 话 框 。 

步骤 二 : 运行 脚本 。 

单 击 运行 或 选择 Vuser "38 (3" , Vuser 将 开始 运行 脚本 ,同时 在 输出 窗口 中 创建 回放 
日 志 , 等 待 脚本 完成 运行 。 

步骤 三 : 查找 文本 检查 。 

确保 已 打开 输出 窗口 (“视图 ”一 “输出 窗口 ”), 单 击 “ 回 放 日志 ” 并 按 Ctrl+F 组 合 键 打 
开 “ 查 找 ” 对 话 框 。 查 找 web_reg_find。 第 一 个 实例 如 下 : 


Registering web reg find was successful 


这 不 是 实际 的 文本 检查 ,而 是 让 VuGen 准备 好 在 表单 提交 后 检查 文本 。 
再 次 查找 ( 按 F3 键 )web_reg_find 的 下 一 个 实例 。 该 实例 如 下 所 示 ， 


Registered web reg find successful for "Text = Find Flight" (count = 1) 


这 说 明文 本 已 找到 。 如 果 有 人 更 改 了 Web 页 面 并 删除 了 文字 Find Flight, 那 么 在 后 续 的 运 
行 中 ,输出 消息 会 指出 找 不 到 这 些 文字 。 

步骤 四 : 查找 事务 的 起 始点 。 

单 击 “ 回 放 日 志 ” 并 按 Ctrl 十 F 组 合 键 打开 “查找 ”对 话 框 ,搜索 单词 Transaction, 该 通 
知 用 蓝 色 显示 。 

步骤 五 : 查看 参数 蔡 换 。 

在 “查找 ”对 话 框 中 搜索 单词 Parameter, A BARMA seat — Aisle, 再 次 搜索 下 一 处 替 
换 ,注意 VuGen 在 每 次 迭代 时 如 何 替换 不 同 的 值 。 

步骤 六 : 选择 “文件 ”>“ 保 存 " 或 者 单 击 “ 保 存 ” 按 钮 。 


9.2.6 创建 负载 测试 场景 


上 一 节 中 我 们 已 经 在 Virtual User Generator 中 成 功 验证 了 自己 的 测试 。 这 里 我 们 将 
测试 负载 下 的 应 用 程序 ,根据 示例 软件 的 测试 条 件 ,我们 要 模拟 10 家 旅行 社 同时 使 用 机 票 
预订 系统 的 操作 ,并 观察 系统 在 负载 下 的 运行 情况 。 要 设计 并 运行 此 测试 ,需要 使 用 


LoadRunner Controller。 
1. LoadRunner Controller 简介 
负载 测试 是 指 在 典型 工作 条 件 下 测试 应 用 程序 ,例如 ,多 家 旅行 社 同 时 在 同一 个 机 票 预 
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订 系 统 中 预订 机 票 。 

为 了 设计 测试 来 模拟 真实 情况 ,我 们 需要 在 应 用 程序 上 生成 较 重负 载 , 并 安排 向 系统 施 
加 负载 的 时 间 ( 因 为 用 户 不 会 正好 同时 登录 或 退出 系统 )。 同 时 ,我 们 还 要 模拟 不 同类 型 的 
用 户 活 动 和 行为 ,例如 ,一 些 用 户 可 能 使 用 Netscape( 而 不 是 IE) 来 查看 应 用 程序 的 性 能 ,并 
且 可 能 使 用 不 同 的 网 络 连接 (例如 调制 解 调 器 .DSL 或 电缆 )。 这 些 设 置 都 需要 在 场景 中 
JU X, o 

Controller 是 一 个 创建 和 运行 测试 的 工具 , 它 能 够 帮助 我 们 准确 模拟 工作 环境 。 

我 们 以 示例 软件 为 例 , 设 定 场景 目标 是 : 模拟 10 家 旅行 社 同时 登录 、 搜 索 航 班 、 购 买 机 
TR .查看 航班 路 线 并 退出 系统 。 


2. 启动 Controller 


开始 创建 场景 ,使 用 Controller 创建 新 场景 的 步骤 如 下 : 

步骤 一 : 打开 LoadRunner。 

步骤 二 : 打开 Controller, 

在 负载 测试 选项 卡 中 单 击 运行 负载 测试 ,打开 LoadRunner Controller。 默 认 情 况 下 ， 
Controller 打开 时 会 显示 “新 建 场景 "对 话 框 ,如 图 9-41 所 示 。 


C 面向 目标 的 场景 
区 许 LoadRunner Controller 基于 指定 的 目标 创建 场景 


三 选择 要 在 场景 中 使 用 的 脚本 
可 用 脚本 


Quality Center Q)... 


Fe 启动 时 明示 mim | amo 
图 9-41 “新 建 场景 "对 话 框 


3. 选择 场景 类 型 并 添加 脚本 


场景 有 两 种 类 型 : 

。 手动 场景 : 可 以 控制 正在 运行 的 Vuser 数目 及 其 运行 时 间 ,另外 还 可 以 测试 出 应 用 
程序 可 以 同时 运行 的 Vuser 数目。 可 以 使 用 百分比 模式 根据 业务 分 析 员 指定 的 百 
分 比 在 脚本 间 分 配 所 有 的 Vuser。 首 次 启动 LoadRunner 时 ,默认 选中 百分比 模式 
复 选 框 。 如 果 现 在 已 选中 ,请 取消 选中 。 

。 面向 目标 的 场景 : 用 来 确定 系统 是 否 可 以 达到 特定 的 目标 。 例 如 ,你 可 以 根据 指定 
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的 事务 响应 时 间或 每 秒 点 击 数 /事务 数 确定 目标 ,然后 LoadRunner 会 根据 这 些 目 
标 自 动 创建 场景 。 
这 里 我 们 在 图 9-41 所 示 的 “新 建 场景 ”对话 框 中 选择 手动 场景 。 
根据 我 们 设 定 的 负载 目标 ,可 以 仅 使 用 一 个 Vuser 脚本 来 模拟 一 组 执行 相同 操作 的 用 
户 。 要 模拟 具有 更 多 种 用 户 档案 文件 的 真实 场景 ,需要 创建 不 同 的 组 ,运行 带 有 不 同 用户 设 
置 的 多 个 脚本 。 
先前 在 VuGen 中 录制 的 脚本 包含 要 测试 的 业务 流程 。 其 中 包括 登录 搜索 航 班 、 购 买 
机 票 .查看 航班 路 线 以 及 注销 。 你 将 向 场景 中 添加 类 似 的 脚本 ,配置 场景 ,模拟 8 家 旅行 社 
同时 在 机 票 预订 系统 中 执行 这 些 操作 。 测 试 期 间 将 添加 另外 两 个 用 户 。 
这 里 我 们 使 用 LoadRunner 提供 的 一 个 示例 脚本 , 它 的 位 置 在 二 LoadRunmer 安装 位 置 二 
\ Tutorial 目录 中 ,名 称 叫做 basic_script, 打 开 此 脚本 ,LoadRunner Controller 将 在 “设计 ” 
选项 卡 中 打开 场景 。 


4. Controller 窗口 简介 


Controller 窗口 的 “设计 ”选项 卡 分 为 三 个 主要 部 分 :“ 场 景 组 窗 格 “ 服 务 水 平 协议 ” 窗 
格 和 “场景 计划 ” 窗 格 , 如 图 9-42 所 示 。 
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图 9-42. Controller 窗口 的 “设计 ”选项 卡 


*。“ 场 景 组 ” 窗 格 。 在 “场景 组 " 窗 格 中 配置 Vuser 组 ,可 以 创建 代表 系统 中 典型 用 户 的 
不 同 组 ,指定 运行 的 Vuser 数目 以 及 运行 时 使 用 的 计算 机 。 
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。，“ 服 务 水平 协 议 ” 窗 格 。 设 计 负 载 测试 场景 时 ,可 以 为 性 能 指标 定义 目标 值 或 服务 水 
平 协议 (Service-Level Agreement,SLA)。 运 行 场景 时 ,LoadRunner 收集 并 存储 与 
性 能 相关 的 数据 。 分 析 运 行情 况 时 ,Analysis 将 这 些 数 据 与 SLA 进行 比较 ,并 为 预 
先 定义 的 测量 指标 确定 SLA RE. SLA 的 内 容 将 在 后 续 内 容 中 讲解 。 

。“ 场 景 计划 ” 窗 格 。 在 “场景 计划 ” 窗 格 中 ,设置 加 压 方式 以 准确 模拟 真实 用 户 行为 。 
可 以 根据 运行 Vuser 的 计算 机 、 将 负载 施加 到 应 用 程序 的 频率 、 负 载 测试 持续 时 间 
以 及 负载 停止 方式 来 定义 操作 。 


5. 修改 脚本 详细 信息 


修改 脚本 详细 信息 步骤 如 下 : 
步骤 一 : 确保 basic script 出 现在 “场景 组 ” 窗 格 的 “组 名 称 ” 列 中 ,如 图 9-43 所 示 。 


E basic script C:\Program Fies\HP\Loadunner\utona\basic_scrpt 


9-43 “场景 组 ” 窗 格 中 的 basic script 组 


步骤 二 : 更 改组 名 称 。 
选择 脚本 并 单 击 详细 信息 按钮 国 ,打开 * 组 信息 "对话 框 。 在 组 名 称 框 中 输入 一 个 更 
有 意义 的 名 称 , 例 如 travel_agent, 如 图 9-44 所 示 。 单 击 “ 确 定 ” 按 钮 ,此 名 称 将 显示 在 “ 设 


计 ? 选 项 卡 的 “场景 组 ” 窗 格 中 。 

组 信息 ES 
组 名 称 ; [travel agent 
Load Generator 名 称 : pocauhost z) 取消 | 
脚本 | 
EH basic script zx 
BE C:\Program Files\HP\LoadRunner\tutorial\basic_script 
关 型 ; MulisQTWeb g 查看 和 本 B ov 

IE LE 
图 9-44 组 命名 
6. 生成 重负 载 


添加 脚本 后 就 可 以 配置 生成 负载 的 计算 机 了 。Load Generator 是 通过 运行 Vuser 在 应 
用 程序 中 生成 负载 计算 机 的 。 我 们 可 以 使 用 多 个 Load Generator, 并 在 每 个 Load 
Generator 上 运行 多 个 Vuser。 

向 场景 添加 Load Generator 以 及 如 何 测试 Load Generator 连接 的 步骤 如 下 : 

步骤 一 : 添加 Load Generator, 

在 “设计 ”视图 中 , 单 击 Load Generator ffl [88 .打开 Load Generator 对 话 框 , 显 示 名 
为 localhost 的 Load Generator 的 详细 信息 ,如 图 9-45 所 示 。 


E] 
IE Pe 
H EMW... 

di mmo | 
44 3E 

2 | 
x zao | 


图 9-45 Load Generator 对 话 框 


我 们 使 用 本 地 计算 机 作为 Load Generator( 默 认 情 况 下 包括 在 场景 中 ) ,这 时 localhost 
Load Generator 的 状态 为 关闭 ,说 明 Controller 未 连接 到 Load Generator。 

注意 : 在 典型 的 生产 系统 测试 中 ,你 将 有 若干 个 Load Generator, 每 一 个 Load Generator 
拥有 多 个 Vuser。 

步骤 二 : 测试 Load Generator 连接 。 

运行 场景 时 ,Controller 自动 连接 到 Load Generator, 也 可 以 在 运行 场景 之 前 测试 连接 。 
选择 localhost 并 单 击 “ 连 接 ” 按 钮 ,Controller 会 尝试 连接 到 Load Generator 计算 机 。 建 立 
连接 后 ,状态 会 从 关闭 变 为 就 绪 。 


7. 模拟 真实 加 压 方式 


添加 Load Generator 后 ,就 可 以 配置 加 压 方 式 了 。 典 型 用 户 不 会 正好 同时 登录 和 退出 
系统 ,LoadRunner 允许 用 户 逐 渐 登 录 和 退出 系统 , 它 还 允许 测试 人 员 确 定 场景 持续 时 间 和 
场景 停止 方式 。 下 面 将 要 配置 的 场景 相对 比较 简单 ,在 设计 更 准确 地 反映 现实 情况 的 场景 
时 ,可 以 定义 更 真实 的 Vuser 活动 。 

手动 场景 配置 加 压 方式 在 Controller 窗口 的 “场景 计划 ” 窗 格 中 进行 。“ 场 景 计划 ” 窗 格 
分 为 三 部 分 :“ 计 划 定 义 ” 区 域 “ 操 作 ” 列 和 交互 计划 图 。 

更 改 默 认 负 和 载 设置 并 配置 场景 计划 的 步骤 如 下 : 

步骤 一 : 选择 计划 类 型 和 运行 模式 。 

在 “计划 定义 ” 窗 格 中 选 定 “ 计 划 方 式 ? 为 场景 ,运行 模式 ?为 实际 计划 ,如 图 9-46 所 示 。 


他 场景 CH 


运行 模式 : € 实际 计划 C 基本 计划 


图 9-46 场景 计划 窗 格 


步骤 二 : 设置 计划 操作 定义 。 
在 “操作 ”单元 格 或 交互 计划 图 中 为 场景 计划 设置 “启动 Vuser”“ 持 续 时 间 ” 以 及 “停止 
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Vuser” 操 作 。 在 图 中 设置 定义 后 ,“ 操 作 ” 单 元 格 中 的 属性 会 自动 调整 。 “操作” 单元 格 的 具 
体 设置 如 图 9-47 所 示 。 


全 局 计划 
9v 4aTt' BEC 8 个 Yuser 
[13 | 属性 
启动 Vuser 启动 8 个 Vuser: 8858 00:00:30 00CNMM:SS) 启动 2 个 
“持续 时 间 运行 00: 10:00 0.MM:SS) 
| | 停止 Yoser 。 “停止 全 部 Voser: 每 00:00:30 OM:M:SS) 停止 2 个 
* 


9-47 “操作 ”单元 格 的 具体 设置 


1) 设置 Vuser 初始 化 

初始 化 是 指 通 过 运行 脚本 中 的 vuser_init 操作 为 负载 测试 准备 Vuser 和 Load 
Generator。 在 Vuser 开始 运行 之 前 对 其 进行 初始 化 可 以 减少 CPU 占用 量 , 并 有 利于 提供 
更 加 真实 的 结果 。 


在 “操作 ”单元 格 中 双击 “初始 化 ”, 打 开 “ 编 辑 操作 ”对 话 框 ,显示 初始 化 操作 。 选 择 “ 同 
时 初始 化 所 有 Vuser”, 如 图 9-48 所 示 。 


ELI xj 
[T zc aus 
€ PDEA aser 
个 初始 化 上 zj T Veser, $f00:00:15 = Oncmrss) 


C 在 每 个 Yuser 运行 之 前 将 其 初始 化 


帮助 取消 [1 
图 9-48 ”编辑 “初始 化 ” 


2) 指定 逐渐 开始 (从 “计划 操作 ”单元 格 ) 

通过 按照 一 定 的 间隔 启动 Vuser, 可 以 让 Vuser 对 应 用 程序 施加 的 负载 在 测试 过 程 中 
逐渐 增加 ,帮助 你 准确 找 出 系统 响应 时 间 开 始 变 长 的 转折 点 。 

在 “操作 ”单元 格 中 双击 “启动 Vuser”, 打 开 “ 编 辑 操作 ”对 话 框 ,显示 “启动 Vuser” 操 
作 , 按 照 图 9-49 所 示 进 行 配置 。 


E 
操作 类 型 。 启动 Vuser 《上 - 步 | Wn 
开始 则 v] Vaser: 


C 同时 
G |2 E 个 Vuser, 每 00:00:30 = (HH:MM:SS) 


35 [9] m | ss 


图 9-49 编辑 “启动 Vuser" 
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D 安排 持续 时 间 ( 从 交互 计划 图 ) 
通过 指定 持续 时 间 , 可 以 确保 Vuser 在 特定 的 时 间 段 内 持续 执行 计划 的 操作 ,以 便 评 
测 服务 器 上 的 持续 负载 。 如 果 设 置 了 持续 时 间 ,脚本 会 运行 这 段 时 间 内 所 需 的 迭代 次 数 ,而 
不 考虑 脚本 在 运行 时 设置 中 所 设置 的 迭代 次 数 。 
通过 单 击 交 互 计划 图 工具 栏 中 的 “编辑 模式 ”按钮 | 人 确保 交互 计划 图 处 于 编辑 模式 。 
在 “操作 ”单元 格 中 , 单 击 持续 时 间或 图 中 代表 持续 时 间 的 水 平 线 。 这 条 水 平 线 会 突出 显示 
并 且 在 端点 处 显示 点 和 菱形 。 将 菱形 端点 向 右 拖 动 ,直到 括号 中 的 时 间 显示 为 00:11:30， 
设置 Vuser 运行 10min, 如 图 9-50 所 示 。 
交互 计划 | 


于 


9 T T 
[Time:00:11:30. Vusers:8] 


s 


7 


6 


0 
00:00:00 00:02:00 00:04:00 00:06:00 00:08:00 00:10:00 00:12:00 
00:01:00 00:03:00 00:05:00 00:07:00 00:09:00 00:11:00 00:13:00 
时 间 


图 9-50 ”编辑 “持续 时 间 ” 


4) 安排 逐渐 关闭 (从 “计划 操作 ”单元 格 ) 

建议 逐渐 停止 Vuser, 以 帮助 在 应 用 程序 到 达 阅 值 后 检测 内 存 漏洞 并 检查 系统 恢复 情 
况 。 在 “操作 ”单元 格 中 双击 “停止 Vuser”, 打 开 “ 编 辑 操作 ”对 话 框 ,显示 “停止 Vuser” 操 
作 , 按 照 如 图 9-51 所 示 进 行 配置 。 

至 此 ,负载 计划 配置 完成 ,下 面 需要 指定 Vuser 在 测试 期 间 的 行为 方式 。 


EE è ë 寺 
操作 类 型 。 停止 Yuser a e 
停止 fes z] Vaser: 

C Fp 

e [z 悦 个 yuse, 每 [000030 = (HH:MM:SS) 

[x [cce pes ue perd 


图 9-51 编辑 “停止 Vuser” 
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8. 模拟 不 同类 型 用 户 


行为 是 指 用 户 在 操作 之 间 暂 停 的 时 间 、 用 户 重复 同一 操作 的 次 数 等 。 模 拟 真 实用 户 时 ， 
需要 考虑 用 户 的 实际 行为 。 

这 里 我 们 将 进一步 了 解 LoadRunner 的 运行 时 设置 ,并 启用 思考 时 间 和 日 志 记录 。 具 
体 设置 步骤 如 下 : 

步骤 一 : 打开 运行 时 设置 。 

在 “设计 ”选项 卡 中 ,选择 脚本 并 单 击 “ 运 行 时 设置 "按钮 ,显示 “运行 时 设置 "对 话 框 ,如 
图 9-52 所 示 。 


x 
[EA AA: 运行 逻辑 
aiH 
- G smo 一 
Tani 
x To ARED 
me DB rise init 
a TT us JR) 
训 览 器 模拟 EB 结束 一 一 
Internet 协议 vse 
HEU 
TEME cU 
内 容 检查 
FED 
-提示 二 E 
将 鼠标 移动 到 任 一 项 上 可 以 查看 其 描述 。 
人 同和 值 四 | xc] w | wo 


9-52 “运行 时 设置 ”对话 框 


通过 运行 时 设置 ,可 以 模拟 各 种 用 户 活动 和 行为 。 其 中 包括 : 

。 运行 逻辑 。 用 户 重复 一 系列 操作 的 次 数 。 

。 步 。 重 复 操作 之 前 等 待 的 时 间 。 

。 日 志 。 希望 在 测试 期 间 收 集 的 信息 的 级 别 。 

如 果 是 首次 运行 场景 ,建议 生成 日 志 消息 ,确保 万 一 首次 运行 失败 时 有 调试 信息 。 

。 思考 时 间 。 用 户 在 各 步骤 之 间 停 下 来 思考 的 时 间 。 由 于 用 户 是 根据 其 经 验 水 平和 
目标 与 应 用 程序 交互 的 ,因此 ,技术 上 更 加 精通 的 用 户 工作 速度 可 能 会 比 新 用 户 快 。 
通过 启用 思考 时 间 ,可 使 Vuser 在 负载 测试 期 间 更 准确 地 模拟 对 应 的 真实 用 户 。 

。 速度 模拟 。 使 用 不 同 网 络 连 接 (例如 调制 解 调 器 .DSL 和 电缆 ) 的 用 户 。 

。 浏览 器 模拟 。 使 用 不 同 浏览 器 查看 应 用 程序 性 能 的 用 户 。 

。 内 容 检查 。 用 于 自动 检测 用 户 定 义 的 错误 。 如 果 发 生 错误 时 应 用 程序 发 送 了 一 个 
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自 定义 页 面 ,其 中 包含 文字 ASP Error, 那 么 测试 人 员 需 要 搜索 服务 器 返回 的 所 有 
页 面 ,以 查看 是 否 出 现 文 字 ASP Error。 另 外 ,我 们 还 可 以 使 用 内 容 检查 运行 时 设 
置 ,设置 LoadRunner 在 测试 运行 期 间 自 动 查找 这 些 文字 。LoadRunner 将 进行 搜 
索 并 在 发 现 文字 时 生成 错误 。 
步骤 二 : 启用 思考 时 间 。 
选择 “常规 : 思考 时 间 ” 节 点 ,选择 “重播 思考 时 间 ” 一 “使 用 录制 思考 时 间 的 随机 百 分 
比 ” 选 项 。 指 定 最 小 值 为 50% ,最 大 值 为 150% ,如 图 9-53 所 示 。 
使 用 录制 思考 时 间 的 随机 百分比 可 以 模拟 熟练 程度 不 同 的 用 户 。 例 如 ,如 果 选 择 航班 
的 录制 思考 时 间 是 4s, 则 随机 时 间 可 以 是 2 一 6s 的 任意 值 (4 的 5026 58 150%). 
步骤 三 : 启用 日 志 记录 。 
选择 “常规 : 日 志 ” 节 点 ,选择 “启用 日 志 记录 ”, 在 日 志 选 项 中 ,选择 “始终 发 送 消息 ”一 
“扩展 日 志 ”>“ 服 务 器 返回 的 数据 ”, 如 图 9-54 所 示 。 


-常规 : 日 志 
FN: 思考 时 间 
PARUNUEX Bicis 
Ee iio — [2 C saeua do 
SR gu Ta C MIRZAEV 
ENTERA) JR TPHROSIERUM B. 
个 将 录制 因 考 时 间 冬 以): [ C EESO 
C RERISCEDECET IS ROG 2 3 G FREEO 
amaw: Fo as fü: fiso * r SSe 
: Iv WERE BERHE T) 
r 格 思考 时 间 限制 为 0): | He Eo 
厂 BENED 
图 9-53 “和 常规: 思考 时 间 ” 节 点 9-54 “常规 : 日 志 ” 节 点 


注意 : 初次 调试 运行 后 ,建议 不 要 对 负载 测试 使 用 扩展 日 志 记 录 。 这 里 启用 它 只 是 为 
了 提供 Vuser 输出 日 志 信 息 。 
单 击 “ 确 认 ” 按 钮 关闭 “运行 时 设置 "对 话 框 。 


9. 监控 负载 下 的 系统 


现在 已 经 定义 了 Vuser 在 测试 期 间 的 行为 方式 , 接 下 来 就 可 以 设置 监控 器 了 。 

负载 测试 过 程 中 ,测试 人 员 和 希望 实时 了 解 应 用 程序 的 性 能 以 及 潜在 的 瓶颈 ， 
LoadRunner 的 集成 监控 器 可 以 评测 负载 测试 期 间 系统 每 一 层 的 性 能 以 及 服务 器 和 组 件 的 
性 能 。 

例如 ,可 以 根据 正在 运行 的 Web 服务 器 类 型 选择 Web 服务 器 资源 监控 器 。 还 可 以 为 
相关 的 监控 器 购买 许可 证 ,例如 IIS, 然 后 使 用 该 监控 器 精确 指出 IIS 资源 中 反映 的 问题 。 

下 面 , 我 们 将 讲解 如 何 添 加 和 配置 Windows 资源 监控 器 ,以 确定 负载 对 CPU、 磁 盘 和 
内 存 等 资源 的 影响 。 添 加 和 配置 Windows 资源 监控 器 的 步骤 如 下 : 

步骤 一 : 选择 Windows 资源 监控 器 。 

单 击 Controller 窗口 中 的 “运行 ”选项 卡 打 开 “ 运 行 ”视图 ,Windows 资源 图 显示 在 右 下 
角 , 如 图 9-55 所 示 。 
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错误 统计 信息 -EMER 事务 响应 时 间 - 整个 场景 
每 秒 点 击 次 数 - 整个 场景 Windows 资源 -最 后 一 个 60 秒 
I | 
已 用 时 间 (时 :分 种 ) 已 用 时 间 (时 :分 : 秒 ) 


9-55 “运行 视图 


Tisi" Windows 资源 图 ”, 选 择 * 添 加 度量 ,打开 “Windows 资源 "对话 框 ,如 图 9-56 


所 示 。 
步骤 二 : 选择 监控 的 服务 器 。 
TE" Windows 资源 ”对 话 框 的 “监控 的 服务 器 计算 机 ”部 分 单 击 “ 添 加 ”按钮 ,打开 “添加 


计算 机 ”对 话 框 ,如 图 9-57 所 示 。 


x 
监控 的 服务 器 计算 机 we] 
m | 

sm. me 
资源 度量 位 于 ; Earm 

" " x 

添加 EDS VERUS RE —— ———— — — — — — 

5 F6 [imo z PT 

图 9-56 "Windows 资源 ”对 话 框 图 9-57 “添加 计算 机 ”对 话 框 


在 名 称 框 中 输入 localhost( 如 果 Load Generator 正在 


另 一 台 机 器 上 运行 ,你 可 以 输入 服务 器 名 称 或 该 计算 机 的 些 控 的 服务 器 计算 机 一 一 一 一 
IP 地 址 ) ,在 平台 框 中 输入 计算 机 的 运行 平台 , 单 击 “ 确 定 ” 
按钮 。 默 认 的 Windows 资源 度量 列 在 “资源 度量 ”文本 框 sm 


内 ,如 图 9-58 所 示 。 

步骤 三 : 激活 监控 器 。 

TÉ i" Windows 资源 ”对 话 框 中 的 “确定 ”按钮 激活 监 
控 器 。 在 接 下 来 的 运行 负载 测试 过 程 中 就 可 以 使 用 监控 器 
来 监视 系统 性 能 变化 。 

图 9-58 ”服务 器 资源 度量 
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9.2.7 运行 负载 测试 


1. Controller 运行 视图 


— 4 


Controller 窗口 中 的 “运行 ”选项 卡 是 用 来 管理 和 监控 测试 情况 的 控制 中 心 的 。“ 运 行 
视图 包含 5 个 主要 部 分 :“ 场 景 组 ” 窗 格 “ 场 景 状态 ” 窗 格 、 可 用 图 树 、 图 查看 区 域 和 图 例 ,如 
图 9-59 所 示 。 


XM WE 场景 如 SEND SEO SEO IRV EPU 
TOORA 


omon oomo 0003 000030 00040 000050 000406 000410 060120 


spasen 
basim. AR 
LLLI k 
Ll n 
EI E 
LM É JA M 
23 
mr 四 
nease 
smr 000000 seata (60020 00003) 06049 000098 ooroo Doiio Orotan 
tete E BELLES 


kammo tvi damen Gs iem 
图 9-59 “运行 ”选项 卡 


。“ 场 景 组 ” 窗 格 。 位 于 左上 角 的 窗 格 ,可 以 查看 场景 组 内 Vuser 的 状态 。 使 用 该 窗 格 
右 侧 的 按钮 可 以 启动 ,停止 和 重 置 场景 ,查看 各 个 Vuser 的 状态 ,通过 手动 添加 更 多 
Vuser 增加 场景 运行 期 间 应 用 程序 的 负载 。 

“场景 状态 ” 窗 格 。 位 于 右上 角 的 窗 格 ,可 以 查看 负载 测试 的 概要 信息 ,包括 正在 运 
行 的 Vuser 数量 和 每 个 Vuser 操作 的 状态 。 

可 用 图 树 。 位 于 中 间 偏 左 位 置 的 窗 格 , 可 以 看 到 一 系列 LoadRunner 图 。 要 打开 图 ， 
请 在 树 中 选择 一 个 图 ,并 将 其 拖 到 图 查看 区 域 。 

图 查看 区 域 。 位 于 中 间 偏 右 位 置 的 窗 格 ,你 可 以 在 其 中 自 定义 显示 画面 ,查看 1 到 8 
个 图 。 

图 例 。 位 于 下 部 的 窗 格 ,你 可 以 在 其 中 查看 所 选 图 的 数据 。 


2. 运行 负载 测试 场景 
运行 负载 测试 场景 的 步骤 如 下 : 
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步骤 一 : 打开 Controller 的 “运行 "视图 。 

选择 屏幕 底部 的 “运行 ”选项 卡 。 

注意 在 “场景 组 ” 窗 格 的 “关闭 ” 列 中 有 8 个 Vuser。 这 些 Vuser 是 在 创建 场景 时 创建 
的 ,如 图 9-60 所 示 。 


9-60 场景 组 


由 于 尚未 运行 场景 ,所 有 其 他 计数 器 均 显示 为 零 , 并 且 图 查看 区 域内 的 所 有 图 
(Windows 资源 除外 ) 都 为 空白 。 在 下 一 步 开 始 运行 场景 之 后 ,图 和 计数 器 将 开始 显示 
信息 。 

步骤 二 : 开始 场景 。 

单 击 “ 开 始 场景 "按钮 国 .或 者 选择 “场景 "~ 开始 "开始 运行 测试 。 

如 果 是 第 一 次 运行 测试 ,Controller 将 开始 运行 场景 。 结 果 文 件 将 自动 保存 到 Load 
Generator 的 临时 目录 下 。 如 果 是 重复 测试 ,系统 会 提示 是 否 覆 盖 现 有 的 结果 文件 ,这 里 应 
该 单 击 “ 否 ”, 因 为 首次 负载 测试 的 结果 应 该 作为 基准 结果 ,用 来 与 后 面 的 负载 测试 结果 进行 
比较 。 

“设置 结果 目录 ”对 话 框 打开 ,如 图 9-61 所 示 。 


设置 结果 目录 xj 
saam [m 
Bx: [C:\Program Files\HP\LoadRunner\scripts\b — DRE... 


结果 路 径 : C\Progran 
厂 自动 为 每 次 场景 执行 包 陡 结果 目录 
D 无 需 出 现 确认 提示 ， 自 动 履 盖 现 有 结果 目录 


o || 
图 9-61 “设置 结果 目录 ”对 话 框 


这 里 我 们 应 该 指定 新 的 结果 目录 ,为 每 个 结果 集 输入 一 个 唯一 且 有 意义 的 名 称 , 因 为 在 
分 析 图 时 可 能 要 将 几 次 场景 运行 的 结果 重 从 。 


3. 监控 负载 下 的 应 用 程序 


这 里 我 们 要 使 用 Controller 的 联机 图 查看 监控 器 收集 的 性 能 数据 ,使 用 这 些 信息 确定 
系统 环境 中 可 能 存在 问题 的 区 域 。 

1) 检查 性 能 图 

“运行 ”选项 卡 显示 下 列 默认 的 联机 图 ,如 图 9-62 所 示 。 

。 正 在 运行 Vuser- 整 个 场景 图 。 显 示 在 指定 时 间 运 行 的 Vuser 数 。 

。 事务 响应 时 间 - 整 个 场景 图 。 显 示 完 成 每 个 事务 所 用 的 时 间 。 


00:00:30 000100 000130 000200 000230 0001:50 000200 000210 000220 000230 00024 
已 用 时 间 qr: 已 用 时 间 (时 :分 - 秒 ) 


图 9-62 默认 的 联机 图 


每 秒 点 击 次 数 -整个 场景 图 。 显 示 场 景 运行 期 间 Vuser 每 秒 向 Web 服务 器 提交 的 
点 击 次 数 (HTTP 请 求 数 ) 。 
Windows 资源 图 。 显 示 场 景 运行 期 间 评测 的 Windows 资源 。 

2) 突出 显示 单个 测量 值 

双击 “Windows 资源 ” 窗 格 将 其 放大 。 注 意 每 个 测量 值 都 显示 在 图 例 中 用 不 同 颜色 标 
记 的 行 中 。 每 行 对 应 图 中 与 之 颜色 相同 的 一 条 线 。 选 中 一 行 时 ,图 中 的 相应 线条 将 突出 显 
示 , 反 之 则 不 突出 显示 。 再 次 双击 图 将 其 缩小 。 

3) 查看 吞吐 量 信息 

选择 “可 用 图 树 ” 中 的 吞吐 量 图 ,将 其 拖 放 到 图 查看 区 域 ,“ 吞 吐 量 " 图 中 的 测量 值 显示 在 


画面 窗口 和 图 例 中 。 
“吞吐 量 " 图 显示 Vuser 每 秒 从 服务 器 接收 的 数据 总 量 (以 字 节 为 单位 ) ,我 们 可 以 将 此 
图 与 "事务 响应 时 间 ” 图 比较 ,查看 吞吐 量 对 — 
事务 性 能 的 影响 。 ER S 
如 果 随 着 时 间 的 推移 和 Vuser SEEMS IE rM À 
加 ,吞吐 量 不 断 增加 ,说 明 带 宽 够 用 。 如 果 随 000::00 000200 000300 00:04:00 
着 Vuser 数目 的 增加 , 香 吐 量 保持 相对 平稳 ， —Á 
可 以 认为 是 带宽 限制 了 数据 流量 ,如 图 9-63 图 9-63 香 吐 量变 化 
所 示 。 


4. 实时 观察 Vuser 的 运行 情况 


模拟 用 户 时 ,你 应 该 能 够 实时 查看 用 户 的 操作 ,确保 它们 执行 正确 的 步 又。 通过 
Controller 的 运行 时 查看 器 可 以 实时 查看 用 户 操作 。 

查看 Vuser 的 操作 步骤 如 下 : 

步骤 一 : 单 击 Vuser 按钮 国 ,打开 Vuser 窗口 ,如 图 9-64 所 示 o 

状态 列 显示 了 每 个 Vuser 的 状态 ,可 以 看 到 有 4 个 正在 运行 的 Vuser 和 4 个 已 经 关闭 
的 Vuser。 计 划 程 序 中 的 “启动 Vuser 操作 指示 Controller 每 次 释放 两 个 Vuser, 随 着 场景 
的 运行 ,将 继续 每 隔 30s 向 组 中 添加 两 个 Vuser。 

步骤 二 : 从 Vuser 列表 中 选择 一 个 正在 运行 的 Vuser。 

步骤 三 : 单 击 Vuser 工具 栏 上 的 “显示 选 定 的 Vuser" fz HL [ER .打开 运行 时 查看 器 并 显 
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1 3 

2 

5 地 正在 运行 basic. sciipt locahost 00.0006 CEA 

6 Ei: basic, scit kcahos — 000006 E 38.713] 

? 多 关闭 basic. sciipt localhost 4 E89 

8 双关 闭 basic. scit localhost 

s | 多 关闭 basiese loca guns o. | 

10 Ax basic, script localhost iy Vuser 4). 
帮助 四 
ESO 


图 9-64 Vuser 窗口 


示 所 选 Vuser 当前 执行 的 操作 。 当 Vuser 执行 录制 的 脚本 中 所 包含 的 各 个 步骤 时 ,窗口 将 
不 断 更 新 。 
步骤 四 : 单 击 Vuser 工具 栏 上 的 “隐藏 选 定 Vuser" Tz HLBR ,关闭 运行 时 查看 器 日 志 。 


5. 查看 用 户 操作 的 概要 信息 


对 于 正在 运行 的 测试 ,要 检查 测试 期 间 各 个 Vuser 的 进度 ,可 以 查看 包含 Vuser 操作 
文本 概要 信息 的 日 志文 件 。 

查看 事件 的 文本 概要 信息 可 以 在 Vuser 窗口 中 选择 一 个 正在 运行 的 Vuser, 单 击 “ 显 示 
Vuser 日 志 ” 按 钮 圈 打 开 Vuser 日 志 , 如 图 9-65 所 示 。 


Acid 
Bret? 
E- Tj Virtual User Script started at : 2009-06-15 14:34:25 4 
B 正在 开始 操作 user init. 
aP Web Turbo Replay of LoadRunner 9.50 SP1 for WIN2003; Wet 
£f Run Mode: HIML 
$ 运 行 时 设置 文件 :“C:\Docunents and Settings Mdninistrator 
日 ”8 vuser init.c(11): 通知 : 事务 "SO1 TOI MomePage^ 
9 vuser init. c(13): 1E "http: //121. 0. 0. 1: 1080/WebTours; 
9 vuser init. c(13): 1E "http: //127. 0. 0. 1: 1080/WebTours; 
4€ ovuser init. c(13): 在 HTML "http: //12T. 0. 0. 1: 1080/Web1 
9 vuser init. c(13): 在 HTML "http: //12T. 0. 0. 1: 1080/Web1 
9 vuser init. c(13): 1E "http: //121. 0.0. 1: 1080/WebTour s; 
€ovuser init. 在 "http: //127.0.0. 1: 1080/WebTours; 
S vaser, 在 HTML “http://127.0.0. 1:1080/Web] 
S vaser web url("WebTours") 已 成 功 ，6454 个 
D vuser init.c(22): 通知 : 事务 "SO1 TO1 HomePage 
$ vuser init.c(24): lr think time:2.67 秒 (录制 思考 时 间 为 = 
M wmser init cf2Rl- Wm- BE SN TN? TosTn” DE bd 


[E A SA i 


图 9-65 Vuser 日 志 


日 志 中 包含 与 Vuser 操作 对 应 的 消息 ,在 上 面 的 窗口 中 ,消息 Virtual User Script 
started 说 明 场 景 已 启动 。 


6. 在 测试 期 间 增加 负载 
在 运行 负载 测试 期 间 ,我 们 可 以 通过 手动 添加 更 多 Vuser 的 方式 增加 应 用 程序 的 负 
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载 , 具 体 步 骤 如 下 : 

步骤 一 : 在 “运行 ”视图 中 单 击 “ 运 行 /停止 Vuser” 按 钮 [ES .打开 “运行 /停止 
Vuser” 对 话 框 ,显示 当前 分 配 到 场景 中 运行 的 Vuser 数 。 

步骤 二 : 在 # 列 中 输入 要 添加 到 组 中 的 额外 Vuser 的 数目 ,例如 ,要 运行 2 个 额外 的 
Vuser, 那 么 就 将 # 列 中 的 数字 8 替换 为 2。 

步骤 三 : 单 击 “ 运 行 ” 以 添加 Vuser。 

如 果 某 些 Vuser 尚未 初始 化 ,将 打开 运行 已 初始 化 的 Vuser 并 运行 新 Vuser 选项 , 选 
择 运 行 新 Vuser 选项 ,如 图 9-66 所 示 。 


运行 /停止 Yuser 


图 9-66 运行 Vuser 


这 两 个 额外 的 Vuser 被 分 配给 travel. agent 组 且 运 行 在 localhost 的 LoadGenerator 
上 。“ 场 景 状态 " 窗 格 显 示 现 在 有 10 个 正在 运行 的 Vuser。 

注意 : 运行 期 间 可 能 会 收 到 警告 信息 ,指出 LoadRunner Controller 无 法 激活 额外 的 
Vuser。 这 是 由 于 使 用 本 地 计算 机 作为 Load Generator 并 且 该 计算 机 的 内 存 资源 不 足 造成 
的 。 多 数 情况 下 ,应 该 使 用 专用 计算 机 作为 Load Generator 以 避免 此 类 问题 。 


7. 负载 测试 的 结果 


如 果 应 用 程序 在 重负 载 下 启动 失败 ,可 能 是 出 现 了 错误 和 失败 的 事务 ,Controller 将 在 
输出 窗口 中 显示 错误 消息 。 

1) 检查 所 有 错误 消息 

选择 “视图 ”一 “显示 输出 ”或 者 单 击 “ 场 景 状态 ” 窗 格 中 的 错误 ,打开 “输出 ”对 话 框 ,如 
图 9-67 所 示 ,其 中 列 出 了 消息 文本 .生成 的 消息 总 数 、 发 生 错误 的 Vuser 和 Load Generator 
以 及 发 生 错 误 的 脚本 等 内 容 。 


输出 (消息 总 数 : 10, fi. 10) 
错误 - 
请 名 代码 U) 


图 9-67 “输出 对话 框 
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更 加 详细 的 信息 我 们 可 以 通过 选中 该 消息 并 单 击 “详细 信息 ”按钮 办 ,打开 “ 详 细 消 息 
文本 ”对 话 框 查看 。 图 9-68 显示 了 超时 错误 的 情况 , Web 服务 器 没有 在 给 定时 间 内 响应 
请 求 。 


|Action.c(6): Error -27727: Step download timeout [120 seconds) has expired when downloading resource(s), Set the "Resource. 
y 


Page Timeout is a Waming" Run-Time Setting to Yes/No to have this message as a waming/error, respectivel 


9-68 超时 错误 


2) 查看 详细 的 日 志 信 息 

在 “输出 ”对 话 框 中 ,有 些 列 的 内 容 是 蓝 色 的 超 链 接 , 单 击 这 些 链接 我 们 可 以 看 到 与 错误 
代码 相关 的 每 个 消息 、Vuser、 脚 本 和 Load Generator, 

例如 ,要 确定 脚本 中 发 生 错 误 的 位 置 , 请 查看 Total Messages 列 中 的 详细 信息 ,Output 
窗口 显示 所 选 错误 代码 的 所 有 消息 列表 ,包括 时 间 、 和 迭代 次 数 和 脚本 中 发 生 错误 的 行 ,如 
图 9-69 所 示 。 


6 7/6/2004 93548AM 3 basic_scipt localhost 
6 7/6/2004 9:35:48 AV 
6 7/6/2004 9:35:49 AM 
6 7/6/2004 9:37.04 AV 
Acton EI Enor 27727: Step d Iuonal 0. Acion 6 7/6/2004 9:37:55 AN. 


图 9-69 Output 对 话 框 


上 图 中 有 Line Number 列 ,其 中 的 数字 是 指 脚本 中 发 生 错误 的 行 号 , 单 击 相应 行 号 可 
以 切换 到 脚本 页 面 , 我 们 可 以 使 用 这 些 信 息 找 出 响应 速度 比较 慢 的 事务 ,就 是 它们 导致 了 应 
用 程序 在 负载 下 运行 失败 。 


测试 运行 结束 后 ,“ 场 景 状态 ” 窗 格 关闭 ,Vuser 停止 运行 。Vuser 对 话 框 中 显示 了 各 个 
Vuser 的 状态 ,重复 某 个 任务 的 次 数 (迭代 数 )、 成 功 迁 代 的 次 数 和 已 用 时 间 等 信息 ,如 图 9-70 
所 示 。 


MK Stopped: Biterationls] attempted B succeeded basic, script localhost 

É Stopped. Bieratorls) alempled 8 succeeded basic scípt localhost 

Å Stopped 7 iterationls] attempted 7 succeeded basic scrpt locahost 

LZ Å Siopped 7iteratiorls] attempted 7 succeeded basi, scrpl localhost 
P^ Stopped. 9 teralionls] attempted 8 succeeded basic_sorpt ocahost 


9-70 ”测试 结束 后 Vuser 的 状态 


9. 应 用 程序 在 负载 下 的 运行 情况 


要 了 解 应 用 程序 在 负载 下 的 运行 情况 ,需要 查看 事务 响应 时 间 并 确定 事务 是 否 在 客户 
可 接受 的 范围 内 。 如 果 事 务 响 应 时 间 延 长 ,需要 找 出 瓶 项 。 有 关 这 方面 的 详细 信息 ,请 参阅 
"9.2.8 分 析 场 景 "中 的 内 容 。 

找 出 问题 后 ,需要 各 方面 人 员 ( 包 括 开 发 人 员 、DBA、 网 络 以 及 其 他 系统 专家 ) 的 共同 努 
力 来 解决 “瓶颈 "问题 。 调 整 后 ,再 次 运行 负载 测试 来 确认 所 做 的 调整 是 否 达到 了 预期 效果 ， 
重复 此 循环 不 断 优化 系统 性 能 ,直至 达到 系统 目标 为 止 。 


9.2.8 分 析 场 景 


在 服务 器 上 施加 负载 后 ,需要 分 析 运 行情 况 ,并 确定 需要 解决 哪些 问题 来 提高 系统 性 
能 。LoadRunner 通过 Analysis 会 话 过 程 中 生成 的 图 和 报告 来 获取 有 关 场 景 性 能 的 重要 信 
息 , 使 用 这 些 图 和 报告 ,可 以 轻松 找 出 并 确定 应 用 程序 的 性 能 瓶颈 ,同时 确定 需要 对 系统 进 
行 哪些 改进 以 提高 其 性 能 。 


1. Analysis 如 何 工作 


Analysis 会 话 的 目的 是 查找 系统 的 性 能 问题 ,然后 找 出 这 些 问 题 的 根源 。 

CD 是 否 达 到 了 预期 的 测试 目标 ? 在 负载 下 ,对 用 户 终 端的 事务 响应 时 间 是 多 少 ? 是 
符合 SLA 还 是 偏离 了 目标 ? 事务 的 平均 响应 时 间 是 多 少 ? 

(2) 系统 的 哪些 部 分 导致 了 性 能 下 降 ? 网 络 和 服务 器 的 响应 时 间 是 多 少 ? 

(3) 通过 将 事务 时 间 与 后 端 监控 器 矩阵 表 关 联 在 一 起 ,能 否 找 出 可 能 的 原因 ? 

下 面 ,我 们 将 讲解 如 何 使 用 LoadRunner Analysis 生成 和 查看 图 及 报告 ,以 帮助 我 们 发 
现 性 能 问题 并 查 明 问题 的 根源 。 


2. 启动 Analysis 会 话 


1) 打开 LoadRunner Analysis 

打开 LoadRunner', 在 负载 测试 选项 卡 中 单 击 “分 析 负 载 测 试 ”", 打 开 Analysis, 

2) 打开 Analysis 会 话 文件 

这 里 我 们 使 用 LoadRunner 提供 的 示例 程序 来 讲解 Analysis 的 使 用 。 

在 Analysis f£i O P , x ££" 3c p" “FTR”, YE — Load Runner ZX f 8E 7 N Tutorial X 
件 夹 中 ,选择 analysis. session 打开 ,如 图 9-71 所 示 。 

注意 : 如 果 系 统 提 示 你 将 会 话 从 旧版 本 的 LoadRunner 转换 至 新 版 本 ,请 单 击 “ 确 定 ” 按 钮 。 

这 个 例子 与 前 面 的 示例 类 似 , 但 这 次 测试 使 用 了 70 个 Vuser, 而 不 是 10 个 。 


3. Analysis 窗口 


打开 示例 文件 analysis_session 后 ,进入 Analysis 分 析 窗 口 , 它 包含 以 下 主要 内 容 : 会 

话 浏览 器 、 属 性 窗口 .图 查看 区 域 和 图 例 ,如 图 9-72 所 示 。 
。“ 会 话 浏览 器 " 窗 格 。 位 于 左上 方 的 窗 格 ,Analysis 在 其 中 显示 已 经 打开 的 报告 和 
图 ,也 可 以 在 此 处 显示 打开 Analysis 时 未 显示 的 新 报告 或 图 ,或 者 删除 自己 不 想 再 
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打开 RA Analysis SELH ?|x| 
SREDO: | C tutorial :emekE- 


basic script 
[correlated script 


XH&.: [erisso 
SEPHSH QD: [iis SEXE La 
BE up 


图 9-71 打开 示例 文件 analysis_session 


查看 的 报告 或 图 。 

。“ 届 性 窗口 " 窗 格 。 位 于 左下 方 的 窗 格 , 属 性 窗口 中 显示 在 会 话 浏览 器 中 选中 的 图 或 
报告 的 详细 信息 ,黑色 字段 是 可 编辑 字段 。 

。 图 查看 区 域 。 位 于 右上 方 的 窗 格 ,Analysis 在 其 中 显示 图 ,默认 情况 下 ,打开 会 话 后 
概要 报告 将 显示 在 此 区 域 。 

。 图 例 。 位 于 右 下 方 的 窗 格 ,可 以 查看 所 选 图 中 的 数据 。 

注意 : 还 有 几 个 可 以 从 工具 栏 访问 的 其 他 窗口 ,它们 提供 附加 信息 。 这 些 窗口 可 以 在 

屏幕 上 随意 拖 放 。 


DEIDE IAD DI 
Iwékiooc wm 
| ERE | umaing fenes etn per Second | Tec deet Transaction Samary rera es Banponsa Tine | 
Average Transaction Response Time 
T 


i 

xxt 

enm H 

a Hi 
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图 9-72 Analysis 窗口 
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4. 服务 水 平 协议 


服务 水 平 协议 (SLA) 是 测试 人 员 为 负载 测试 场景 定义 的 具体 目标 。Analysis 将 这 些 目 
标 与 LoadRunner 在 运行 过 程 中 收集 和 存储 的 性 能 数据 进行 比较 ,然后 确定 目标 的 SLA 状 
态 (通过 或 失败 ) 。 

例如 ,我 们 可 以 定义 具体 的 目标 或 阔 值 ,用 于 评测 脚本 中 任意 数量 事务 的 平均 响应 时 
间 。 测 试 运行 后 ,LoadRunner 将 预定 义 的 目标 与 实际 录制 的 平均 事务 响应 时 间 进 行 比较 ， 
并 且 Analysis 会 显示 每 个 所 定义 SLA 的 状态 (通过 或 失败 )。 如 果实 际 的 平均 事务 响应 时 
间 未 超过 你 定义 的 国 值 ,SLA 状态 将 为 通过 。 

作为 目标 定义 的 一 部 分 ,SLA 可 以 将 负载 条 件 也 考虑 在 内 。 这 意味 着 可 接受 的 阔 值 将 
根据 负载 级 别 (例如 运行 的 Vuser 数 、 吞 吐 量 等 ) 而 有 所 更 改 , 随 着 负载 的 增加 ,你 可 以 允许 
更 大 的 阔 值 。 

根据 定义 的 目标 ,LoadRunner 将 以 下 列 某 种 方式 来 确定 SLA RE: 

。 通过 时 间 线 中 的 时 间 间 隔 确 定 SLA 状态 。 在 运行 过 程 中 ,Analysis 按照 时 间 线 上 

的 预 设 时 间 间 隔 (例如 每 5 秒 钟 ) 显 示 SLA 状态 。 
。 通过 整个 运行 确定 SLA 状态 。Analysis 为 整个 场景 运行 显示 一 个 SLA 状态 。 
可 以 在 Controller 中 运行 场景 之 前 定义 SLA ,也 可 以 稍 后 在 Analysis 中 定义 SLA。 


5. 定义 SLA 


这 里 我 们 要 使 用 HP Web Tours 示例 定义 SLA ,假设 HP Web Tours 的 管理 员 想 要 了 
解 book flight 和 search. flight 事务 的 平均 响应 时 间 何 时 会 超过 既定 值 。 为 此 ,应 该 对 相应 
事务 设置 国 值 ,这 些 贱 值 是 可 接受 的 平均 事务 响应 时 间 最 大 值 。 

在 设置 阔 值 时 ,还 要 考虑 具体 的 负载 条 件 , 例 如 正在 运行 的 Vuser 数 , 随 着 正在 运行 的 
Vuser 数目 的 增加 , 阔 值 将 增 大 。 原 因 是 尽管 HP Web Tours 管理 员 和 希望 平均 事务 响应 时 
间 尽 可 能 短 ,但 我 们 都 知道 每 年 的 一 些 特 别 时 候 可 以 合理 地 假定 HP Web Tours 网 站 的 负 
载 比 其 他 时 候 高 。 例 如 ,在 旅游 旺季 会 有 更 多 的 旅行 社 登录 到 网 站 来 预订 机 票 .查看 航班 路 
线 等 。 在 这 种 合理 的 重负 载 情况 下 ,可 以 接受 稍 长 的 平均 事务 响应 时 间 。 

下 面 的 设置 中 ,我们 将 考虑 三 种 负载 情况 : 轻 负载 ,平均 负载 和 重负 载 。 每 个 场景 将 有 
各 自 的 阔 值 。 

在 Analysis 中 定义 SLA 要 在 运行 场景 后 进行 。 下 面 我 们 针对 示例 会 话 文件 中 的 book 
flight 和 search. flight 事务 定义 SLA, 并 为 平均 事务 响应 时 间 设 置 具体 的 目标 。 有 具体 操作 
步骤 如 下 : 

步骤 一 : 打开 SLA 配置 向 导 。 

选择 "工具 ”一 “配置 SLA 规则 ”, 打 开 “ 服 务 水 平 协议 ”对 话 框 ,如 图 9-73 Bros , 单 击 “新 
建 ”, 打 开 向 导 。 

步骤 二 : 为 目标 选择 度量 。 

选中 “通过 时 间 线 中 的 时 间 间 隔 确 定 的 SLA 状态 ”>“ 平 均 事务 响应 时 间 ”( 每 个 时 间 间 
隔 ) , 单 击 “ 前 进 " 按 钮 ,如 图 9-74 所 示 。 

步骤 三 : 选择 事务 进行 监控 。 
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Eaa P 8000000000 3 
服务 水 平 协议 


lee Erse fs XU | 大 高 级 


服务 水 平 协议 
当前 没有 为 负载 测试 定义 5LA 规则 。 
单 击 -新建 按 包 以 为 负载 测试 定义 SLA R. 


图 9-73 “服务 水 平 协议 ”对 话 框 


中 服务 水 平 协议 - 目标 定义 prt x| 


服务 水 平 协议 - 目标 定义 
为 目标 选择 度量 


请 从 以 下 类 别 之 一 选择 度量 。 
注意 : 充 在 过 择 度量 (通过 时 间 线 中 的 时 间 则 隔 确 定 其 SLA 状态 ) 时 ， 才 可 定义 加 载 条 件 。 


C 通过 时 间 罚 中 的 时 间隔 确定 的 SIA 状态 | 
C 平均 事务 响应 时 间 《时 个 时 间 间隔 ) 
CPUS (每 个 时 间 间 隔 ) 


C 通过 整个 运行 确定 的 SLA 状态 


< AB 前 进 > 确定 帮助 


图 9-74 目标 定义 


从 可 用 事务 列表 (脚本 中 的 所 有 事务 列表 ) 中 选择 book_flight 和 search_flight 事务 将 
其 加 入 选 定 事务 编辑 框 , 如 图 9-75 Bron , 单 击 “ 前 进 ” 按 钮 。 

步骤 四 : 设置 负载 条 件 。 

如 图 9-76 所 示 ,我 们 在 这 里 要 设置 不 同 的 负载 条 件 。 从 “加 载 条 件 ? 下 拉 列 表 中 选择 
“正在 运行 的 Vuser 数 ”, 并 按照 图 9-76 所 示 设 置 负载 值 。 

这 里 设置 的 负载 值 确定 了 在 三 种 潜在 负载 条 件 下 可 接受 的 平均 事务 响应 时 间 : 

。 轻 负载 : 有 0 至 19 个 Vuser。 
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里 最 务 水 平 协 议 - 目标 定义 a 
服务 水 平 协议 - 目标 定义 
选择 事务 
选 香 对 运行 而 言 最 关键 的 事 各 ， 
ra 将 晶 示 这 些 事务 中 每 个 事 和 的 "5LA 结果 。 
包 BERES, 请 在 “可 用 事务 ”列表 中 进行 选择 然后 
LoadRunner idle uus LE 
服务 水 平 协议 
可 用 事务 cmd 
日 启动 (tom Transaction Took ligit 
check itinerar| F 
T. tr md Bm> [|sera-nioe 
logon 
vuser end Transaction 
vuser init Transaction 
Limit] HT 
o 加 载 条 件 ELM 
e fi 
AE | mi» 确定 帮助 
图 9-75 选择 监控 事务 
中 服务 水 平 协议 - 目标 定义 国 
服务 水 平 协议 - 目标 定义 
设置 加 载 条 件 
了 MENRE: koei] 
ca 人 
LoadRunner RR HIrROMI TER 
注意 : 加 载 信 必 须 通关 连续 且 完 整 的 范围 
MERE [EDET Vuser 数 z] 
bor [- AF p 
jm E = B 
r rss B 
«mp | mo 确定 E 


9-76 设置 负载 条 件 
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* 平均 负载 : 有 20 至 49 个 Vuser。 

。 重负 载 : 超过 50 个 Vuser。 

步骤 五 : 设置 阔 值 。 

H book flight 和 search. flight 事务 定义 可 接受 的 平均 事务 响应 时 间 , 具 体 设置 如 图 9-77 


所 示 。 


多 最 务 水 平 协 议 - 目标 定义 ES 

服务 水 平 协议 - 目标 定义 
REB 
先 定 的 度量 FREE — 

[C | SO GET BOE ODE MEENET. BURLANE SLA 状态 失败 。 

LoadRunner 

D 提示 : 您 可 以 在 以 下 “应 用 到 所 有 ” 表 中 将 一 扔 亲信 应 用 到 所 有 事务 . 
[FEE 的 Vse 数 OO F| 

事务 名 |<20 |z20 且 <50 IE ] 
[book_fight IE] 10 15 
search fight 5 10 15 


3ER—IBBIBITRERISCR SESS» WAARNEEMT "IURIS". 


“应 用 到 所 有 <20 220 B <50 250 回 
0 0 0 X 
应 用 到 所 有 事务 


* mE dk» Wih "um 


图 9-77 设置 平均 事务 响应 时 间 


可 接受 的 平均 事务 响应 时 间 如 下 : 

* 轻 负载 : 5s 以 内 。 

。 平均 负载 : 10s 以 内 。 

。 重负 载 : 15s 以 内 。 

注意 : 所 选 事务 的 阔 值 可 以 不 相同 ,可 以 为 每 个 事务 分 配 不 同 的 值 。 

步骤 六 : 保存 SLA. 

在 后 续 网 页 中 依次 单 击 前 进 、 完 成 和 关闭 向 导 , 保 存 SLA。Analysis 将 SLA 设置 应 用 


于 默认 的 概要 报告 ,更 新 报告 以 包含 所 有 相关 的 SLA 信息 。 


6. 查看 性 能 概要 
概要 报告 提供 常规 信息 和 关于 场景 运行 情况 的 统计 信息 ,还 提供 所 有 相关 的 SLA 信 


息 。 例 如 ,按照 所 定义 的 SLA ,执行 情况 最 差 的 事务 是 哪些 ,如 何 按照 设 定 的 时 间 间 隔 执行 
特定 的 事务 以 及 整体 SLA 状态 。 


我 们 可 以 从 会 话 浏览 器 打开 概要 报告 ,此 报告 包含 以 下 部 分 : 
1) 场景 的 总 体 统计 信息 
在 “统计 信息 概要 ”部 分 ,可 以 看 到 这 次 测试 最 多 运行 了 70 个 Vuser, 另 外 此 处 还 记录 
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了 其 他 统计 信息 (例如 总 吞吐 量 ` 平 均 香 吐 量 以 及 总 点 击 数 ,平均 点 击 数 等 ), 如 图 9-78 


所 示 。 
Analysis Summary Period: 28/06/2004 09:59:49 
Scenario Name: — CiTutorial Scenario gaby.lrs 
Results in Session: Si\Iruné\nt\1414\Irunner_download\prd\tutorial\tutorial_result\tutorial_result, Irr 
Duration: 11 minutes and 57 seconds. 
Statistics Summary 
Maximum Running Vusers: 70 
Total Throughput (bytes): @ — 273,489,363 
Average Throughput(bytes/second) — (* ^ 380,904 
Total Hits: e 8,789 
Average Hits per Second: e 12.241 View HTTP Responses Summary 
Total Errors: e 9,226 
图 9-78 统计 信息 概要 
2) 执行 情况 最 差 的 事务 
如 图 9-79 所 示 ,“5 个 执行 情况 最 差 的 事务 " 表 最 多 显示 5 个 定义 了 SLA 且 执 行情 况 最 


差 的 事务 。 


5 Worst Transactions 


Time Interval 

00:01:05-00:01:15 
00:02:05-00:02:10 
00:03:30-00:03:50 
00:04:15-00:04:20 
00:04:25-00:04:30 
00:05:35-00:05:40 
00:07:25-00:08:20 
00:08:30-00:08:50 
00:08:55-00:09:00 
00:09:05-00:093:45 
00:10:00-00:11:20 


Failure Ratio[96] 


- Failure Value[90] 
Terisaction Nàme (exceeded time /transaction duration) (response time /SLA) 
book, flight 39.68 43.71 


Avg exceeding ratio 
10.27 
2.33 
8.86 
3.16 
6.87 
7.65 
30.71 
27.61 
17.92 
32.6 
86.43 


Max exceeding ratio 
15.98 
2.33 
16.94 
3.16 
6.87 
7.65 
53.31 
52.97 
17.92 
49.57 
128.16 


Analyze Transaction | 


图 9-79 5 个 执行 情况 最 差 的 事务 


可 以 看 到 book flight 事务 的 持续 时 间 相对 于 SLA 阔 值 超出 了 39. 68% ,整个 运行 期 
间 , 它 超出 SLA 阅 值 的 平均 百分比 为 43. 71%。 


3) 超出 SLA 阅 值 的 时 


间 间 隔 


如 图 9-80 所 示 ,“ 随 时 间 变 化 的 场景 情况 ”部 分 显示 不 同 的 时 间 段 内 各 个 事务 的 执行 情 
况 , 绿 色 方块 表示 事务 在 SLA 阅 值 范围 内 执行 的 时 间 段 ,红色 方块 表示 事务 失败 的 时 间 段 ， 
灰色 方块 表示 尚未 定义 相关 的 SLA。 
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Scenario Behavior Over Time 


to analyze the time range, 


The SLA status of the folloving measurements displayed over time. You can select a specific time range for each transaction in order 


Transaction: [bock flight s. Time range to drill down: From:  [000:00:40 2j To [9000120 2j 
Measurement Name — — Time Ranges 


Application Under Test. TEJE ['" 25 
mors 


aa 


Alerts 


9 e e o o eo 2o 9 ec 
E $ 8 8 8 8 8 8 8 
> 98 a R c o9 EE n» a 
8 8.8 8 8 8.8 8 8 


图 9-80 ”随时 间 变 化 的 场景 情况 


Peer m - mu m TITT 
ferto NEENENNEENNENNMENN 


oyi80t100 
oz:60:00 
00:01:00 


oziTT100 


Analyze Transaction. 


search. flight 在 所 有 评测 的 时 间 段 中 都 在 阔 值 范围 内 ,但 在 某 些 时 间 段 内 book flight 


超出 了 阔 值 。 
4) 事务 的 整体 性 能 
“事务 概要 ” 列 出 每 个 事务 的 概要 情况 ,如 图 9-81 所 示 。 


Transaction Summary 


Transactions: Total Passed: 1,100 Total Failed: 3,112 Total Stopped: 0 


Transaction Name SLA Status — Minimum ^ Average Maximum ^ Std. Deviation. 


90 Percent. 


139.18 252471 28.215 

11399 17541 3.015 

32.826 — 119.258 26.407 
12.909 1.146 
9.864 2.161 
11.17 2.365 
o o 
0.077 0.024 


(à No Data 


9-831 事务 概要 


170.966 
15.407 
65.754. 
1.67 
6.777 
7.966 

[] 

0.062 


图 中 值 为 90% 的 列表 示 响 应 时 间 占 事务 执行 时 间 的 9074 ,在 测试 运行 期 间 执行 的 
check itinerary 事务 的 90% 的 响应 时 间 为 65. 754s, 大 约 是 其 平均 响应 时 间 32. 826s 的 2 
倍 ,这 种 状态 意味 着 此 事务 发 生 时 响应 时 间 通 常 很 长 。 我 们 还 可 以 看 到 该 事务 已 失败 了 


28 次 。 
7. 以 图 形 方式 查看 性 能 


LoadRunner 提供 的 “会 话 浏览 器 ”窗口 能 以 图 形 的 方式 查看 应 用 程序 的 性 能 。 下 面 我 


们 以 “平均 事务 响应 时 间 ” 图 为 例 来 观察 图 中 所 显示 的 信息 。 
D 打开 “平均 事务 响应 时 间 ” 图 


在 图 下 方 的 会 话 浏览 器 上 , 单 击 “ 平 均 事务 响应 时 间 ”,“ 平 均 事务 响应 时 间 ” 图 将 在 图 查 


看 区 域 打开 。 


第 9 章 ”性 能 测试 实施 


在 图 例 中 单 击 check_itinerary 会 话 ,check_itinerary 事务 将 突出 显示 在 该 图 中 以 及 图 
下 方 的 图 例 中 ,如 图 9-82 所 示 。 


a nan i 1 
e ret Feo Te 


| 
| 
i 


Antrag Respon Tir (secorit) 


人 


图 9-82 “平均 事务 响应 时 间 ” 图 


图 中 的 点 代表 在 场景 运行 的 特定 时 间 内 的 事务 平均 响应 时 间 ,将 光标 放 在 图 中 的 点 上 ， 
会 出 现 一 个 黄色 说 明 框 并 显示 该 点 的 坐标 值 。 
2) 分 析 结果 
在 图 9-82 中 我 们 可 以 看 到 check. itinerary 事务 的 平均 响应 时 间 波 动 很 大 ,甚至 在 场景 
运行 2 : 56 分 后 峰值 达到 75. 067. 
在 运行 状况 良好 的 服务 器 上 ,事务 的 平均 响应 时 间 是 相对 稳定 的 ,例如 ,图 底部 的 
logon,logoff.book flight 和 search. flight 事务 的 平均 响应 时 间 相 对 稳定 。 


8. 查看 服务 器 性 能 


现在 我 们 将 分 析 70 个 正 运 行 的 Vuser 对 系统 性 能 的 影响 。 

1) 研究 Vuser 的 行为 

在 图 树 中 单 击 正在 运行 的 Vuser 数 ,会 在 图 查看 区 域 打开 “正在 运行 Vuser” 图 ,如 图 9-83 
所 示 , 可 以 看 到 在 场景 开始 运行 后 ,Vuser 逐渐 开始 运行 ,70 个 Vuser 同时 运行 了 3min, 接 
着 Vuser 又 开始 逐渐 停止 运行 。 

2) 筛选 该 图 , 仅 查看 所 有 Vuser 同时 运行 的 时 间 段 

我 们 可 以 通过 筛选 图 的 方式 ,缩小 图 中 数据 的 显示 范围 , 仅 显 示 符 合 指定 条 件 的 数据 。 

右 击 正 显示 图 形 , 选 择 “ 设 置 筛选 器 /分 组 方式 ”, 或 单 击 工具 栏 上 的 “设置 筛选 器 /分 组 
Ji Els" Sd ,打开 “筛选 器 设置 "对 话 框 。 在 筛选 条 件 区 域 ,选择 “场景 已 用 时 间 行 的 值 ”， 
设置 从 1 : 30( 分 钟 : 秒 ) 到 3 : 45( 分 钟 : 秒 ) 的 时 间 范 围 ,设置 完成 , 单 击 “ 确 定 ” 按 钮 。 

“正在 运行 Vuser” 图 现在 仅 显 示 场 景 运行 后 1 : 30( 分 钟 : 秒 ) 到 3 : 45( 分 钟 : 秒 ) 之 
间 运 行 的 Vuser, 所 有 其 他 Vuser 已 全 被 筛选 出 去 ,如 图 9-84 所 示 。 

D 将 “正在 运行 Vuser” 图 和 "平均 事务 响应 时 间 ” 图 关联 在 一 起 来 比较 数据 

将 两 个 图 关联 起 来 ,就 会 看 到 一 个 图 的 数据 对 另 一 个 图 的 数据 产生 的 影响 ,这 称 为 关联 
两 个 图 。 
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E 


9-83 “正在 运行 Vuser” 图 


9-84 设置 筛选 器 后 的 图 形 显示 


将 “正在 运行 Vuser” 图 与 “平均 事务 响应 时 间 ” 图 相关 联 , 我 们 可 以 查看 大 量 Vuser 对 
事务 平均 响应 时 间 产 生 的 影响 。 

具体 方法 是 : 

右 击 “正在 运行 Vuser" 图 并 选择 “清除 筛选 器 /分 组 方式 ”, 右 击 该 图 并 选择 合并 图 。 在 
选择 要 合并 的 图 列表 中 ,选择 平均 事务 响应 时 间 。 在 选择 合并 类 型 区 域 中 ,选择 关联 ,然后 
单 击 “ 确 定 ” 按 钮 ,关联 完成 。 

现在 ,“ 正 在 运行 Vuser” 图 和 “平均 事务 响应 时 间 ” 图 在 图 查看 区 域 中 表示 为 一 个 图 , 即 
“正在 运行 的 Vuser- 平 均 事务 响应 时 间 ” 图 ,如 图 9-85 所 示 。 
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图 9-85 关联 图 


4) 分 析 关 联 图 

在 图 9-85 中 我 们 可 以 看 到 随 着 Vuser 数目 的 增加 ,check_itinerary 事务 的 平均 响应 时 
间 也 在 逐渐 延长 。 换 句 话 说 ,就 是 随 着 负载 的 增加 ,平均 响应 时 间 也 在 平稳 地 增加 。 

运行 64 个 Vuser 时 ,平均 响应 时 间 会 突然 急剧 拉 长 ,服务 器 性 能 出 现 不 稳定 状态 ， 
Vuser 超过 64 个 时 ,响应 时 间 会 明显 开始 变 长 。 

关联 图 的 功能 是 非常 有 用 的 ,那么 下 次 分 析 场 景 时 ,可 能 还 会 用 到 相同 的 关联 图 。 
LoadRunner 可 以 把 上 述 的 关联 图 作为 模板 保存 ,以 后 在 其 他 Analysis 会 话 中 使 用 。 

要 保存 模板 ,请 执行 以 下 操作 : 

OD 从 工具 菜单 中 选择 “模板 ”>“ 另 存 为 模板 ”。 

(2) 模板 命名 。 

G) 取消 选项 “将 该 模板 自动 应 用 到 新 会 话 ”。 

(4) 单 击 “ 确 定 ” 按 钮 。 

下 次 打开 新 的 Analysis 会 话 并 需要 使 用 模板 时 ,执行 以 下 操作 就 可 以 直接 使 用 。 

(1) 从 工具 菜单 中 选择 “模板 ”>“ 应 用 /编辑 模板 ”。 

(2) 从 列表 中 选择 模板 ,然后 单 击 “ 应 用 模板 ”。 


9. 发 布 结果 


我 们 可 以 使 用 HTML 报告 或 Microsoft Word 报告 发 布 分 析 结 果 , 报 告 使 用 设计 者 模 
板 创建 ,包含 指定 的 图 和 数据 。 

1) HTML 报告 

HTML 报告 可 以 在 任何 浏览 器 中 打开 和 查看 。 从 报告 菜单 中 选择 “HTML 报告 ”就 可 
以 创建 HTML 报告 。 

Analysis 将 创建 报告 并 将 其 显示 在 Web 浏览 器 中 。 注 意 HTML 报告 的 布局 与 
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Analysis 会 话 的 布局 十 分 相似 ,可 以 单 击 左 窗 格 中 的 链接 来 查看 各 个 图 。 

2) Microsoft Word 报告 

5j HTML 报告 相 比 ,Word 报告 的 内 容 更 全 面 ,因为 它 可 以 包含 有 关 场 景 .度量 描述 等 
常规 信息 。 通 过 设置 报告 格式 ,还 可 以 让 它 包含 测试 公司 的 名 称 和 徽标 以 及 作者 的 详细 
信息 。 

与 所 有 Microsoft Word 文件 一 样 , Word 报告 可 以 编辑 ,所 以 在 生成 报告 后 我 们 仍然 可 
以 继续 添加 注释 和 结果 。 

创建 Microsoft Word 报告 的 步骤 稍 显 复杂 ,从 报告 菜单 中 选择 "Microsoft Word 报告 ” 
打开 Word 报告 设置 页 面 ,在 “Microsoft Word 报告 "对话 框 中 填写 诸多 的 相关 信息 后 , 单 击 
“确定 ”按钮 ,就 可 以 生成 Word 报告 。 


6.3 小 结 


本 章 主要 介绍 了 性 能 测试 的 相关 知识 ,全 面 性 能 测试 模型 从 理论 上 解决 了 性 能 测试 难 
组 织 . 易 出 错 的 问题 。LoadRunner 是 优秀 的 性 能 测试 工具 ,本 章 以 示例 软件 HP Web 
Tours 为 例 详细 介绍 了 怎样 使 用 LoadRunner 来 进行 性 能 测试 。 


习题 


. 性 能 测试 从 哪些 方面 开展 ? 

. 性 能 测试 的 实施 步骤 有 了 哪些? 

. 简 述 全 面 性 能 测试 模型 。 

. LoadRunner 的 重要 组 件 有 哪些 ? 

. 请 读者 自行 选择 合适 的 实例 ,运用 LoadRunner 进行 测试 并 分 析 测试 结果 。 
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